[go: up one dir, main page]

CN102474631A - 三维(3d)投影的差分失真校正方法和系统 - Google Patents

三维(3d)投影的差分失真校正方法和系统 Download PDF

Info

Publication number
CN102474631A
CN102474631A CN2010800293021A CN201080029302A CN102474631A CN 102474631 A CN102474631 A CN 102474631A CN 2010800293021 A CN2010800293021 A CN 2010800293021A CN 201080029302 A CN201080029302 A CN 201080029302A CN 102474631 A CN102474631 A CN 102474631A
Authority
CN
China
Prior art keywords
image
distortion
projection
picture
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800293021A
Other languages
English (en)
Other versions
CN102474631B (zh
Inventor
马克·J·休伯
威廉·吉本斯·雷德曼
杰德·哈姆森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102474631A publication Critical patent/CN102474631A/zh
Application granted granted Critical
Publication of CN102474631B publication Critical patent/CN102474631B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/147—Optical correction of image distortions, e.g. keystone
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/18—Stereoscopic photography by simultaneous viewing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/158—Switching image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Geometry (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Projection Apparatus (AREA)

Abstract

公开了一种用于基于胶片或数字图像的三维(3D)投影的差分失真校正方法和系统。可以将基于失真信息而确定的补偿变换应用于图像数据，以对3D投影的立体图像中的失真进行补偿。差分方法可以用于获得补偿变换。

Description

三维(3D)投影的差分失真校正方法和系统
相关申请的交叉引用
本申请要求2009年7月2日递交的美国临时申请S/N 61/270,094“双透镜3D投影的差分失真校正(Differential distortion Correction forDual-Lens 3D Projection)”和2009年11月13日递交的美国临时申请S/N61/261,259“双透镜三维(3D)投影的差分失真校正(Differential distortionCorrection for Dual-Lens Three-Dimensional(3D)Projection)”的优先权，将其全部结合在此作为参考。
技术领域
本发明涉及一种用于三维(3D)投影的差分失真校正的方法和系统。
背景技术
三维(3D)电影的当前浪潮正在流行，并且通过3D数字影院投影系统的简单使用成为可能。然而，这些系统的展示速率不足以跟上需求，并且还是获得3D的一种非常昂贵的方法。早期的基于3D胶片的系统受到以下难题的困扰，包括配置错误、低亮度和图片脱色，但是比数字影院方法要廉价的多。在20世纪80年代，在美国和其他地方展现了3D胶片的浪潮，使用了由Chris Condon设计并且获得专利的透镜和滤波器(美国专利4,464,028)。例如由Lipton在美国专利5,481,321中提出了对于Condon的其他改进。这两篇参考文件的主题内容全部结合在此作为参考。
一种透镜配置，即“上下”透镜或“双透镜”结构(例如，上透镜用于投影针对一只眼睛的图像，而下透镜用于投影针对另一只眼睛的图像)对相应左眼图像和右眼图像进行投影，具有差分梯形失真。这是因为上透镜(例如，典型地与右眼图像相对应)相比于下透镜(例如与左眼图像相对应)在屏幕底部以上更高，并且因此与屏幕底部的距离更大，结果是右眼图像比左眼图像经历了更大的放大。类似地，在屏幕的顶部，左眼图像(通过下透镜)经历比右眼图像更大的放大。这些不同的放大可以导致不利效果，例如导致在投影屏幕的不同部分处的不同深度感知，或者左眼图像和右眼图像之间的未对准，引起观看者疲劳。
因为这种双透镜结构用于许多基于胶片的投影系统和一些数字投影系统，诸如梯形失真之类的失真的存在可以不利地影响许多3D胶片或数字呈现。通常，对于左眼图像和右眼图像分别具有不相同的投影几何形状的投影系统易受到这种失真的影响(例如，使用成像器的时域复用对来自具有相同几何形状的相同物理成像器的左眼图像和右眼图像进行投影的数字投影系统不会遭受梯形失真)。
尽管失真补偿可以有益于基于胶片的呈现和数字呈现，对于基于胶片的系统，还需要通过改善图像分离度、颜色和亮度改善3D呈现质量，以便与数字影院呈现竞争。
附图说明
通过考虑结合附图的以下详细描述，可以更加易于理解本发明的教导，其中：
图1a示出了使用双透镜的立体胶片投影系统；
图1b示出了图1a投影系统的一些参数的关系；
图2示出了利用与图1a类似的双透镜投影系统进行投影的左眼图像和右眼图像的差分失真；
图3a示出了适用于图1a投影系统的3D胶片的片段；
图3b示出了校准胶片或数字图像中的测试图像图案；
图4示出了本发明的经失真校正的3D胶片的片段，适用于图1a的投影系统，但是不会产生图2中所示的差分失真；
图5是用于创建图4经失真校正的3D胶片的过程的一个实施例的流程图；
图6示出了用于产生经失真校正的3D胶片的方法的另一个实施例；
图7示出了数字投影系统；以及
图8示出了用于产生3D投影的经失真校正的图像的方法的另一个实施例。
为了便于理解，在可能的情况下将相同的参考数字用于指示附图中公共的相同元件。附图没有按比例绘制，并且为了清楚起见可以对一个或多个特征进行放大或缩小。
发明内容
本发明原理的实施例提出了一种用于3D呈现的方法、系统和图像。所述方法提供了一种变换，所述变换可以用于对立体图像对中两个图像之间的差分失真至少部分地进行补偿，所述差分失真与投影系统的多种参数相关联。通过将该补偿变换应用于立体图像对中至少一个图像，可以减小或消除这两个图像之间的差分失真。
在一个实施例中，一种用于三维(3D)投影的方法包括：(a)提供变换，用于对3D投影的立体图像对的第一图像和第二图像之间的差分失真的至少一部分进行补偿；以及(b)将该补偿变换应用于至少第一图像，以减小相对于第二图像的差分失真。
另一个实施例提出了用于三维(3D)投影系统中的投影的多个图像，所述多个图像包括：第一组图像和第二组图像，第一组图像中的每一个图像与第二组图像中相关联的图像形成立体图像对；以及第一组图像和第二组图像中至少一组包括已经变换的图像数据，所述变换用于至少部分地补偿任意立体图像对的相应图像之间的差分失真，所述差分失真与投影系统相关联。
另一个实施例提出了一种系统，所述系统包括：投影仪，用于对三维(3D)图像进行投影；以及至少一个处理器，配置为提供补偿变换，并且将所述补偿变换应用于3D投影的图像。
另一个实施例提出了一种计算机可读介质，具有存储的指令，当通过处理器执行所述指令时，所述指令将执行包括以下步骤的方法：(a)提供变换，用于对3D投影的立体图像对的第一图像和第二图像之间的差分失真的至少一部分进行补偿；以及(b)将该补偿变换应用于至少第一图像，以减小相对于第二图像的差分失真。
具体实施方式
现有的单投影仪3D胶片系统使用双透镜来同时对左眼图像和右眼图像进行投影，所述左眼图像和右眼图像在相同的胶片带上彼此上下布置。因为上部透镜和下部透镜不具有共同的光轴，所以这些“上下”3D投影系统表现出差分梯形失真效应(即，对于左眼图像和右眼图像的不同梯形失真)。
在本发明的一个实施例中，对差分梯形失真的量进行测量、计算或估计，并且对于来自左眼图像和右眼图像的每一个的相应梯形失真量进行校正(通常将针对特定帧或场景的左眼图像和右眼图像称作“立体图像对”)。基于相应的测量也可以向诸如枕形失真、桶形失真之类的其他类型失真(如果存在的话)提供校正。
现有的投影系统包括：单个标准2D投影仪，具有双透镜结构以同时对两个图像的每一个进行投影(一个用于左眼，一个用于右眼)；以及滤波器，与双透镜的左眼半部和右眼半部(典型地分别是底部和顶部)成一直线，对立体图像对的相应左眼图像和右眼图像进行编码，使得当投影到屏幕上时，佩戴具有与双透镜系统的滤波器相对应的滤波器的眼镜并且具有正确朝向的观众将在他们的左眼中感知到左眼图像，并且在他们的右眼中感知到右眼图像。这将在下面作为背景技术讨论以便于本发明的描述。
参考图1，示出了上/下透镜3D胶片投影系统100，也称作双透镜3D胶片投影系统。通过光源以及胶片背后的聚光器件(这里未示出)来同时照射上/下3D胶片110上的(通过帧内间隙113分离开的)矩形左眼图像112和矩形右眼图像111，同时左眼图像112和右眼图像111被光圈挡片120(为了清楚起见只示出了光圈的内边缘)框住，从而由于光圈挡片的不透明部分覆盖胶片110上的所有其他图像，胶片110上的所有其他图像不可见。上/下透镜系统130将通过光圈挡片120可见的图像投影到屏幕140上，其中图像通常是对齐且重叠的。
上/下透镜系统130(也称作双透镜系统)包括本体131、入射端132和出射端133。透镜系统130的上半部分和下半部分由隔片138分离开，隔片138防止杂散光在两半个部分之间穿过。典型地与右眼图像(例如111)相关联的上半部分具有入射透镜134和出射透镜135。典型地与左眼图像(例如112)相关联的下半部分具有入射透镜136和出射透镜137。再次为了清楚起见，没有示出双透镜系统的每一个半部内部的其他透镜元件和孔径光阑。当适合于对投影系统100进行适当调节时，也可以添加附加的透镜元件，例如在双透镜130出射端后面添加放大镜，但是这里也没有示出。
投影屏幕140具有观看区域中心点141，两个胶片图像111和112的投影图像应该集中于该中心点处。理想地，这两个投影图像的顶部在屏幕观看区域142的顶部处对齐，并且投影图像的底部在屏幕观看区域143的底部处对齐。
透镜系统130的上半部分和下半部分的光轴UU’和LL’之间的距离实质上等于透镜间距离d。从出射端133到屏幕140的距离实质上等于投射距离(throw distance)l(或者，出于不必要的精确的目的，可以从透镜系统130的任一个出射光瞳到屏幕140来测量投射距离l，并且透镜间距离d是透镜系统130的出射光瞳的中心之间的视距)。来自胶片图像111和112中每一个图像的主射线穿过由透镜间距离d分离开的双透镜130的相应半部的孔径光阑139的中心，并且(当正确对齐时)实质上会聚到屏幕观看区域的中心点141。注意，来自左眼图像和右眼图像的各个中心的主射线(或其光程)不一定与各个透镜组件的光轴UU’、LL’相一致，例如在光轴UU’、LL’平行而不以角度α会聚的情况下。如图1(b)所示，会聚角度α等于透镜间距离d的一半与投射距离l之比的反正切的两倍(对于大多数单投影仪双透镜投影结构而言，其实质上等于透镜间距离d与投射距离l之比的反正切)。
图1a中示出了右眼和左眼专用滤波器或快门161和163，典型地分别安装到双透镜130上或其附近，例如在出射透镜135和137后面，以对投影的右眼图像和左眼头像编码，使得由观众中每一个成员佩戴的适当眼镜上的相应滤波器或快门确保了观众的左眼只观看左眼图像，而观众的右眼只观看右眼图像(至少在他们佩戴眼镜时)。用于这种目的的各种滤波器是众所周知的，包括线性偏振器、立体影片(analyphic)(红和蓝)、交错干涉梳状滤波器。有源快门眼镜也是可行的，例如使用LCD快门来与类似定时的快门同步地在阻挡左眼或右眼之间交替，该类似定时的快门操作用于使相应的胶片图像的投影消失。在Huber等人2009年12月15日递交的“Improved Over-Under lens for Three-Dimensional Projection”的共同所有的PCT专利申请(PCT/US09/006557)中描述了结合了圆偏振器的设备，用于投影立体图像以进行3D呈现。
在一个示例中，滤波器161是具有垂直朝向的吸收线性偏振器，而滤波器162是具有水平朝向的吸收线性偏振器。屏幕140是保偏投影屏幕，例如银幕。因此，通过双透镜130的上半部分投影的右眼图像111具有垂直偏振，而通过双透镜130的下半部分投影的左眼图像112具有水平偏振，屏幕140反射两个投影图像时，从而保留上述两种偏振。佩戴具有垂直偏振轴的右眼线性偏振器和具有水平偏振轴的左眼线性偏振器的眼镜(未示出)的观众成员将在其右眼中看见投影的右眼图像111，并且在其左眼中看见投影的左眼图像112。
图2示出了在具有中心点141的投影屏幕140的观看部分上，立体图像对的投影呈现200中的差分失真的存在。如果存在并且没有进行校正，差分失真(即对于投影的右眼图像和左眼图像的不同失真)将导致右眼图像和左眼图像中的相同特征出现在屏幕上的不同位置。尽管差分失真自身表现为投影图像中的失真，但是这是投影系统配置的特性，例如由于右眼图像和左眼图像的不对称或不等同投影几何形状而导致的。
所投影的呈现200具有实质上在屏幕中心点141处彼此相交的垂直中心线201和水平中心线202。投影的右眼图像由具有边界211和角AR、BR、CR和DR的略微变形的(例如，可以具有由于枕形失真和/或桶形失真导致的弯曲的边)四边形来代表，并且投影的左眼图像由具有边界212和角AL、BL、CL和DL的略微变形的四边形来代表。
右眼图像边界211和左眼图像边界212示出了系统对准，其中投影的立体图像的差分梯形失真关于垂直中心线201水平对称，而左眼图像的差分梯形失真和右眼图像的差分梯形失真关于水平中心线202垂直对称。梯形失真的产生主要是因为由双透镜130的上半部分来投影右眼图像111，而上半部分相比于双透镜130的下半部分更加远离观看区域(或投影图像区域)的底部边缘143。与透镜130的下半部分相比，透镜130的上半部分与屏幕的略微增加的距离导致了与左眼图像相比，所投影的右眼图像的放大率略微增加，如图中明显所示，与投影的左眼图像212的底边DLCL相比，投影的右眼图像211的底边DRCR更长。另一方面，双透镜130的上半部分比透镜130的下半部分更靠近观看区域的顶部边缘142。因此，投影的右眼图像211的顶部边缘ARBR比投影的左眼图像212的顶部边缘ALBL短。
在屏幕140的左上角附近，左眼投影图像边界212具有水平放大梯形误差233(表示角AL和角A之间的水平距离，角A是在不出现梯形失真的情况下AL应该位于的位置)和垂直放大梯形误差231。当对称地对准时，可以在屏幕140的右上角发现类似的误差。在屏幕140的左下角附近，左眼投影图像边界212具有水平缩小梯形误差234和垂直缩小梯形误差232。
此外，双透镜130的像场弯曲可能引起较不显著的投影误差。例如，投影透镜的像场弯曲可能引起枕形失真或桶形失真，其可能导致投影的图像边界的顶部或底部边缘的弯曲。在图2中示出了针对左眼投影图像的顶部边缘ALBL和底部边缘DLCL的这种弯曲。例如，顶部边缘ALBL的中点(Mt)与观看区域的顶部边缘142之间的垂直距离221小于角AL和观看区域的顶部边缘142之间的垂直距离231，并且底部边缘DLCL的中点(Mb)与观看区域的底部边缘143之间的垂直分隔222大于角DL和底部边缘143之间的垂直分隔232。
这种像场弯曲诱导的枕形失真或桶形失真可以通过本发明来校正，例如如果对于两个图像而言枕形失真之间不存在可感知的差别，则可以将实质上相同的校正用于左眼图像和右眼图像两者，或者如果在两个图像的失真之间存在可感知的差别，则可以使用不同的校正。在其他实施例中，可以省略对于枕形失真和/或桶形失真的校正，例如如果确定这些差分失真是无关紧要的或者可忽略的。
图3a示出了上/下3D胶片300，例如没有针对来自投影系统的几何失真的校正的原始胶片。库存胶片302具有沿两条边的齿孔、以及光录声轨306(可以是数字的)。沿胶片302规则间隔开的是各个立体图像对，例如第一对左眼图像310和右眼图像311、第二对312和313、以及第三对314和315等等。
图4示出了本发明的一个实施例，其中在经失真校正的上/下3D胶片400中提供修改后的左眼图像和和右眼图像410-415。库存胶片402具有与3D胶片300上的齿孔和声轨类似的齿孔404和声轨406。与3D胶片300中的未修改图像310-315的布置相对应地沿着胶片402布置修改后的图像410-415。
将原始图像310-315布置为具有恒定的帧内间隙340，即对于每一对图像，图像对中左眼图像和右眼图像之间的距离都相同。原始图像310-315也具有恒定的帧间间隙341，即在所有相邻对之间，一个立体对的右眼图像和相邻立体对的左眼图像之间的距离都相同。因此，成对图像的顶部之间的距离320对于所有对都相同，正如相邻对中的相邻图像的顶部之间的距离321一样。距离320和321的总和是帧长度，并且典型地对于无论2D或3D投影的给定投影器而言都是相同的，并且在该示例中，该总和与标准35mm胶片的四个穿孔(也称作4穿孔)相对应。
在图4的示例中，使3D胶片400的每一个左眼图像和右眼图像翘曲，以便基本上校正或者至少部分地补偿如图2所示的差分梯形失真和像场弯曲诱导失真。如果完全校正了差分失真，显示屏幕处的左眼和右眼图像将一致，并且具有零差异。George Wolberg在“Digital Image Warping”，IEEE Computer Society Press出版，Los Alamitos，CA 1990中教导了适合实现这种翘曲的计算方法的讨论。对于只校正梯形失真的简单翘曲，可以使用Hambrug在美国专利#5,808,623中教导的算法。将这两篇参考文献的主题内容全部结合在此作为参考。
作为产生图像410-415的翘曲的结果，帧内距离440可以不等于帧内距离340。类似地，帧间距离441可以不等于帧间距离341。类似地，成对图像的顶部之间的距离420可以不等于相应的距离320；以及相邻对中的相邻图像的顶部之间的距离421可以不等于相应的距离321。然而，距离420和421的总和是帧长度，并且与距离320和321的总和相同，因此允许用经失真校正的3D胶片400直接代替对于现有技术的3D胶片300。通常，距离420可以与距离421相同或不同，并且距离440可以与距离441相同或不同。
如Wolberg所示，可以通过许多不同的算法实现图像310-315的翘曲以产生翘曲的图像410-415。或许最容易的是采用了如图2所示并且在图5流程图的一个分支中讨论的对失真的经验测量的透视翘曲。
图5示出了根据本发明一个实施例的适合立体失真校正的过程500，其可以用于产生经失真校正的胶片，例如胶片400。过程500开始于步骤501，其中建立胶片格式(例如高宽比、图像尺寸等等)。在步骤502中，判定是使用经验方法(例如通过直接测量)还是使用理论计算或估计，来校正差分梯形和/或像场弯曲失真。
如果选择理论计算，那么方法500前进到步骤507，计算投影图像中的失真。所述计算将考虑投影系统的多种参数。例如，与具有较大投射距离l的配置相比，较短的投射距离l(因此，较大的会聚角α)将导致更大的差分失真。基于计算或估计的失真，可以推导一种或多种校正，并且可以在步骤508建立补偿变换(或校正因子或函数)。
对于双透镜投影系统，例如上/下透镜，或对于立体图像对具有不等同投影几何形状的透镜结构，几乎总是存在一些差分失真。因此，通常优选地是应用至少一些校正(即使相对较小)，而不是根本不应用任何校正。例如，可以使用1个像素的校正，或者约0.001英寸或更小的校正。在后面部分中将进一步讨论步骤508中的补偿变换。
如果在步骤502中选择经验方法，那么在步骤503中产生(或者使其可用或提供)校准或测试胶片，校准或测试胶片将用于后续的步骤，用来对一个或多个失真进行特征化并且产生经失真校正的胶片。在一个示例中，校准胶片类似未校正的3D胶片300，具有适合步骤501中建立或选择的胶片格式的图像高宽比和尺寸。例如，可以将校准胶片提供为具有多个左眼图像和右眼图像的胶片环，这些图像与未校正的胶片300中所示的图像类似。左眼图像的一些或全部可以是相同的(例如L1与L2和/或L3相同)，而右眼图像的一个或多个可以是相同的(例如R1与R2和/或R3相同)。
在一个实施例中，校准胶片的左眼图像和右眼图像各自包括测试图案，例如与图3a的每一个左眼图像和右眼图像310-315的边缘或矩形边界类似的矩形边界。在图3b中示出了测试图案350的一个示例。测试图案350的边界可以具有与图3a中图像的矩形边界相同或接近的尺寸。通过设置测试图案350小于胶片300上的图像(例如图案350的每一个边界均位于图像L1、R1...内部)，可以避免边界被图1的光圈挡片120切除。另外，每一个校准图像或测试图案可以分别具有水平中心线351和垂直中心线352，如图3b所示。替代地，不是横跨图像的整个长度的中心线，而是可以在图像的中心设置十字准线(作为示例，图2中示出了十字准线投影255)。
利用正确且对称性对齐的3D投影系统100，校准胶片的这一实施例将产生与图2所示图像类似的投影的左眼图像和右眼图像，其中与左眼图像312的边缘相对应的矩形将产生梯形边界212，并且与右眼图像313的边缘相对应的矩形将产生梯形边界211。测试图案或校准图像的水平和垂直中心线(或者十字准线)将产生分别与观看区域的中心线201和202相一致的所投影的垂直和水平中心线。
在步骤504，利用针对正常操作而对准的3D投影系统100，对在步骤503中提供的校准胶片进行投影。此外，可以从投影的图像中测量梯形失真、枕形失真或桶形失真(统称为几何失真)中的一个或多个。注意，对于屏幕上的每一个点，存在两个失真：一个是对于左眼图像的失真，一个是对于右眼图像的失真。通常，多于一种类型的失真可以存在于投影的图像中。然而，仍然可以通过选择投影图像的诸如角或边缘等与感兴趣的失真相关的合适测量位置，来针对特定类型的失真执行测量或者获得信息。尽管使用梯形失真来说明本原理的方法，应该理解的是测量和补偿过程也适用于其他类型的失真。
在以上实施例中，如果测试图案的边界具有已知的物理或逻辑宽度，例如如果已知形成所述矩形的线条是0.001英寸(物理上)，或者在数字胶片记录器中已知所述线条是一个像素宽(逻辑上)，那么可以按照线条宽度测量梯形误差或失真231-234，然后将其转换成这些物理或逻辑单位。例如，如果水平放大误差233表现为约三个线宽度，那么依赖于形成边界212的线的已知宽度，可以将偏移值233标注为0.003英寸(或三个像素)。差分梯形误差的另一种测量是左眼图像边界212的左上角(AL)和右眼图像边界211的左上角(AR)之间的水平距离，在对称设置中该水平距离等于距离233和234的总和。
通常，可以将“差分梯形误差”定义为(立体对的)投影右图像和左图像中的两个点的位置之间的差异，在两个图像中不存在梯形效应的情况下这两个点将出现在屏幕上相同的位置处。
可以针对相应的左眼图像和右眼图像的每一个角进行这种经验测量，无论投影几何形状是否对称(即，如果右眼图像和左眼图像具有不同幅度的多种失真)。另外，例如可以通过将距离221、222与距离231、232进行比较来测量枕形失真或桶形失真，这些失真指示了投影的左眼边界212的顶部边缘的弯曲。也可以对表现出这些失真的其他边缘(例如ALDL或BLCL)进行类似的测量。
在以上实施例中，在左眼图像和右眼图像中每一个的分离的角和边缘点处执行测量(边缘点指的是沿投影图像的边缘的、在此可以执行测量的点，例如距离221是在边缘点处获得的一个测量)。然而，对于左眼图像中进行了失真测量的每一个点而言，右眼图像很可能具有对应的失真。在替代实施例中，左眼和右眼校准图像各自包括分度网格(未示出)，分度网格用作屏幕的坐标系统。在屏幕140上的选定点处，可以从投影的左眼网格和右眼网格的每一个中取得坐标。可以通过左眼网格是一种颜色(例如绿色)，而右眼网格是另一种颜色(例如红色)，来辅助对这些坐标的读取。替代地，可以分离地投影左眼网格和右眼网格，例如通过在覆盖出射透镜135的同时对于左眼进行测量，以及在覆盖出射透镜137的同时测量右眼图像。如果屏幕140是非平面的，例如柱面屏幕或环形屏幕，其中只通过投影图像的角或边缘点处的测量可能不足以适当地定义差分失真，则可以使用分度网格来提供优势。通常，可以将具有多种图像图案的胶片中的任意帧用作校准胶片，只要所述图案包括可识别的基准点或基准边缘以允许对感兴趣的特定失真进行测量。
当步骤504中的测量完成时，在步骤505中对所述测量是否构成代表性样本进行评估。例如，如果经失真校正的胶片400只用于步骤504中执行失真测量所在的那一个影院，那么可以确切地如上所述地使用这些测量。然而，如果将在一个影院或显示场所(即一个投影系统和配置)中进行的测量用于要分发给具有不同投影系统和/或配置的许多影院的经失真校正的胶片400，那么应该收集更合适或更大的样本尺寸，例如通过(按照需要重复地)回到测量步骤504，以进行其他影院或显示场所中的附加测量。
一旦针对一个或多个投影系统和/或影院已经收集了足够数量的测量，在步骤506中合并测量结果，例如通过使用合适技术来计算平均数或平均值，包括算术或几何平均，或者最小均方。
如果一个或多个投影系统比大多数其他系统具有严重得多的梯形或其他失真，那么平均化方法可能导致失真被显著偏斜，或者不适合其他系统。在这种情况下，应该基于特定标准，丢弃异常值，并且异常值不用于计算平均失真。
在步骤508，可以基于来自步骤504的测量，针对左眼图像和右眼图像建立补偿变换，例如利用为立体对的校准图像或测试图像的角而建立的梯形失真(测量值或平均值)。补偿变换将用于后续步骤以将图像数据从原始3D胶片(即未校正任何失真)变换为针对投影系统所关联的至少一种失真而经过部分校正的图像数据。不同的方法可以用于建立补偿变换，其中之一是使用与相关联图像的翘曲目标作为参数的翘曲算法。例如，如果步骤504的测量示出了左眼图像的左上角(AL)向左偏离3个像素并且高出了2个像素，那么可以将图像翘曲目标设置为使得补偿变换将所有左眼图像的左上角向下移动两个像素并且向右移动三个像素(即幅度大致相等，但是沿与测量的失真相反的方向)，并且对于每一个左眼图像和右眼图像的所有四个角都是如此。典型地，针对每一个单独的测量点(例如角)设置图像翘曲目标。当应用于相应图像时，这四个目标将校正梯形失真。也就是说，每一个“目标”代表可以应用来对图像特定点处的相应失真进行校正的图像偏移(例如沿垂直和水平的步长)、校正因子或参数。将这些图像翘曲用作补偿变换的基础，即可以应用于图像以对图像投影所关联的一个或多个失真进行补偿的变换函数。
换句话说，基于在测试图像的特定点(例如与图2的角AL、AR或边缘点相对应)处执行的测量，可以导出校正参数。所述测量可以包括角位置或角位置的差别。将这些校正参数应用于原始胶片图像将得到经失真校正的图像，当投影所述经失真校正的图像时，角出现在期望的目标位置处。例如，在应用针对梯形失真的正确校正之后，角AL和AR将出现在诸如观看区域的角A之类的目标位置处。
参考图2，如果左眼测试图像的顶部边缘ALBL弯曲(与直线相反)，则也可以包括期望的直线高度(例如距离231)和沿垂直中心线201在中点Mt处测量的实际高度(例如，距离221)之间的差别，以设置翘曲目标，用于将顶部边缘的中点(点Mt)降低一定量。可以针对给定图像的每一个边缘的中点来建立类似的校正目标。这些目标将校正枕形失真或桶形失真。
可以基于针对任意选定的翘曲算法(例如Hamburg，Op.cit.)而适当定义的翘曲目标、或者基于由步骤507中的计算或估计而确定的失真，在步骤508建立补偿变换。翘曲算法采用参数(例如针对矩形的每一个角的2D偏移)和源图像来产生翘曲的图像。利用适当选择的参数，所得到的翘曲图像具有针对投影几何形状所导致的失真的内建补偿。因此在一个示例中，补偿变换(或者“图像翘曲”)可以是具有选定参数的翘曲算法，其应用于诸如[310，311]、[312，313]和[314，315]之类的每一个立体图像对，以产生相应的经失真补偿的图像对[410，411]、[412，413]和[414，415]。
关于补偿变换存在两种选项：可以使用单个补偿变换对立体对的左眼图像和右眼图像两者进行变换，或者可以使用两个分离的变换分别对相应的左眼图像和右眼图像进行变换。
当只使用单个变换函数时，变换或翘曲函数需要包括足够的参数，以向立体对的一个或两个图像提供校正。另外，因为在帧内间隙中不存在图像，如果将单个变换用于同时翘曲右眼图像和左眼图像两者，则所述变换也需要结合与针对上部图像和下部图像的翘曲方向相关联的“符号变化”(例如一个图像向上翘曲，而另一个图像向下翘曲)。换句话说，允许在帧内间隙440内的某处，对左眼图像和右眼图像的失真的校正是不连续的。另外，如果将变换或校正设置为连续函数，则应该存在合适的隔离，使得针对一个眼睛图像的翘曲的变更不会影响另一个眼睛的翘曲(除了对称性确保这一点之外)。在步骤509中将这种校正一致地应用于整个胶片(以下将进一步讨论)。
依赖于所执行的特定测量，补偿变换可以包括针对被测量的不同类型(例如梯形、枕形或桶形)失真的一个或多个校正。不必将补偿变换用于对所有已知或测量的失真进行校正。例如，可以只对一种类型的失真进行校正，并且如果期望进一步改进，可以将另一补偿变换应用于校正其他类型的失真。
注意，补偿变换也可以造成校正后胶片中帧内间隙的变化。参考图2中的示例，为了补偿差分失真，左眼图像的左下角DL应该向下移动距离232，并且右眼图像的左上角AR应该向上移动距离232*(不一定等于距离232)。类似地，应该相应地移动左眼图像和右眼图像的角CL和BR。因此清楚的是，由于左眼图像的角CL、DL和右眼图像的角AR、BR之间的距离减小，校正后胶片400的帧内间隙440会小于原始胶片的距离340。
在替代实施例中，可以分离地实施步骤508中的左眼图像和右眼图像的变换，即对于左眼图像使用第一变换，对于右眼图像使用第二变换。换句话说，补偿变换不必是对整个帧(例如由光圈挡片120界定的或者由4-perf帧间距测量的)中的左眼和右眼对两者进行处理的单个变换。
尽管图5示出了可以基于通过两种不同的方法(计算或测量)获得的失真来建立补偿变换，也可以通过这两种方法的组合来提供失真值，例如通过计算得到的一种类型的失真，而另一种类型的失真是测量的。
在步骤509，通过应用在步骤508建立的补偿变换(例如基于以前获得的测量和目标)，对原始3D胶片或电影(未校正失真)的左眼图像和右眼图像进行变换。注意，将补偿变换应用于立体图像的过程并不意味着物理地修改实际的原始3D库存胶片(例如图3a)。而是，通过变换函数来操作代表图像的数据，使得对图像的不同点的位置进行修改以补偿一个或多个失真。
因此，如果将单个补偿变换用于对立体对的左眼图像和右眼图像进行翘曲，则修改代表了未校正胶片300(图3a)的图像L2和R2的数据，以产生代表图4的失真校正后胶片400的翘曲图像L2和R2的数据。替代地，也可以通过对未校正胶片300的图像L2的数据应用一种变换函数、对图像R2的数据应用另一种变换函数，来获得胶片400中的翘曲图像L2和R2的数据。可以将图像的变换后数据存储在文件中，例如作为数字中间体存储，或者可以将图像的变换后数据记录到胶片中，作为负片或正片记录。
在步骤510中，胶片的一个或多个冲印相片可以由在步骤509中实现的胶片制成。因为在步骤509中进行的胶片记录典型地是负片，所以在步骤510中实现的这些冲印相片可以使用典型的胶片冲印相片生产方法来制作。替代地，在步骤509中进行的胶片记录可以是正片，正片适用于直接显示，而无需冲印步骤510。
在补偿变换之后仍然存在实质上的或者明显的残余梯形失真或其他失真的情况下，例如在步骤507或504中进行的测量或估计不够精确的情况下，可以通过对步骤510中制成的冲印相片进行测试，来进行连续逼近。这可以通过在对步骤510的胶片冲印相片而不是对步骤503的校准胶片执行至少一个失真测量的情况下，回到步骤504(由虚线表示)来实现。在这种情况下，针对任何残余失真(通常小于前述测量中的失真)而获得附加测量，并且可以将需要的任何增量性调节合并到步骤508的原始补偿变换中。替代地，这些附加的测量可以是连续执行的后续变换(例如第一变换可以校正梯形失真，而第二变换可以校正枕形失真)的基础。
在可选的步骤511中，将胶片冲印相片分发给进行测量所在的相同影院或者其他合适的类似影院。当经过正确调节时，经失真校正的胶片冲印相片的呈现应该显示出已经应用了补偿的各种类型的失真的减小。优选地，校正的胶片显示出很少的失真或者没有失真，例如对于差分梯形失真、枕形失真或桶形失真中的至少一个。
过程500在步骤512结束。
前面已经描述了校准胶片或测试胶片上的图像可以是相同的左眼和右眼图像对，例如L1与L2和L3相同，并且R1与R2和R3相同。然而在另一个实施例中，可以将校准胶片上的图像提供为动画序列，例如不同帧中的左图像L1、L2和L3彼此不同，并且右图像R1、R2和R3彼此不同。可以结合来自声轨的叙述来设计这种动画序列中的不同图像，以提供关于校准过程的指令，并且促进失真测量的性能。
因此，校准胶片可以具有包括不同测试图案(例如具有不同尺寸或角位置的矩形边界)的左图像和右图像，使得当投影时校准胶片提供展现出由于差分失真导致的不同失真图像点的左图像和右图像。例如，一个图像对可以具有由于梯形失真导致的左上角(例如图2的AR和AL)之间的较大分隔，而其他图像对可以示出这些相应的角之间的较小分隔。当对校准胶片上的图像对进行投影时，可以对产生了彼此重叠的相应角(或者表现出最小分隔)的图像对进行记录，例如通过操作者或者经由软件自动地进行记录。可以通过提供计数器或识别校准胶片的图像上的标记，来识别各个单独的图像对。通过标示出产生最小差分失真的图像对，可以从图像对中图案的相关尺寸中导出对于特定失真的相应校正参数。除了角之外，图案的边缘点或侧边也可以用于到出相应的校正参数。
在另一个实施例中，也可以设计校准胶片中的图像，使得一组图像(例如右图像)彼此相同(例如单个矩形)，而将左图像设置为一系列的具有不同尺寸的“分度的”矩形，例如不同百分比的右图像尺寸。校准过程可以包含：对具有与右图像的相应点相交或实质上一致的特定点或元素(例如角或边缘点、侧边等等)的左图像进行识别。在这种情况下，可以将识别图像看作是执行测量。在特定失真(例如梯形失真)只影响立体图像之一的情况下，这种校准胶片在配置中是有用的。
本原理的一个或多个特征也可以应用于同步的双胶片投影仪(未示出)，其中一个投影仪投影左眼图像，而另一个投影仪投影右眼图像，每一个都通过普通的投影透镜(即不是诸如双透镜130之类的双透镜“组合”版本)。在双投影仪双透镜实施例中，透镜间距离d可以实质上大于单投影仪情况下的透镜间距离，因为每一个投影仪的投影透镜实质上分开得愈发远了。在双投影仪系统中，也可以将投影仪设置为并排配置，而不是上下配置，从而未校正的梯形失真使最左侧投影仪投影的右边缘比最右侧投影仪投影的右边缘大，如此等等。在这种情况下，在涉及失真的适当位置(例如相应的角和/或边缘)相应地执行上述的测量和目标/校正。
图6示出了方法600的另一个实施例，可以用于对双透镜3D投影系统中的一个或多个差分失真提供校正或补偿。具体地，方法600可以校正由投影系统引起的一个或多个几何失真。与计算方法相反，上述校正是根据对一个或多个投影图像执行的至少一个测量而获得的。
在步骤602中，例如通过投影到屏幕上，将与原始3D胶片(对于来自投影系统的几何失真未进行校正)类似的校准胶片提供用于失真测量。例如，校准胶片具有适合原始3D胶片的胶片格式的图像高宽比和尺寸，并且包括结合图5如上所述的一个或多个特征。通常，来自校准胶片的投影图像包括至少一个左眼图像和右眼图像对，例如图3的图像对310和311。然而，也可以只需要针对一只眼睛的一幅图像(与立体对的左眼图像和右眼图像两者相反)进行投影以便测量，例如如果已知另一幅图像(或者更精确地，用于对图像进行投影的投影系统)是无失真的，在这种情况下，测量表示两个图像之间的差分失真。
在步骤604，针对可以来自投影系统的至少一种类型的失真，例如梯形失真、枕形失真、桶形失真等等，进行至少一种测量。在一个示例中，所述测量包括至少一种差分失真测量(即测量失真的左眼图像和右眼图像之间的差异)。这种测量与结合图5如上所述的测量类似。
在步骤606，如针对图4所述地，基于对校准胶片的图像执行的测量，建立补偿变换。
在步骤608中，通过应用来自步骤606的补偿变换，对原始3D电影的两组左眼图像和右眼图像中的至少一组(即，所有的左眼图像、所有的右眼图像、或这两组)进行变换。在整个原始3D电影中，将所述补偿变换一致地应用于每一个左眼图像和右眼图像。换句话说，所有的左眼图像将接收彼此相同的变换，并且所有的右眼图像将接收彼此相同的变换。注意，即使对两个立体图像(都具有非零失真)都执行失真测量，也可以将从所述失真测量中得出的补偿变换只应用于立体图像之一，例如所有的右眼图像或所有的左眼图像，来减小差分失真。例如，不是将分离的变换或分离的图像偏移分别应用于相应的左眼图像和右眼图像，而是可以将补偿变换组合或者相加成单个变换，该单个变换例如只应用于左眼图像。这种方法具有减小所需计算量的优势，例如减小了大约一半计算量。可以将变换后的图像记录到胶片上，即产生3D胶片的失真校正版本，或者将变换后的图像存储在数字文件中以便随后使用。
在步骤610中，可以根据经失真校正的3D胶片或根据数字文件进行至少一种胶片冲印。
尽管以上示例关注于基于胶片的3D投影的失真校正，本发明的一个或多个特征也可以应用于特定的数字3D投影系统，所述数字3D投影系统使用分离的透镜或光学部件对立体图像对的右眼图像和左眼图像进行投影。这种系统可以包括单投影仪或双投影仪系统，例如由美国加州的Cypress的Christie Digital System(美国)有限公司投入市场的Christie3D2P双投影仪系统，或者由美国加州圣迭戈的索尼电子有限公司投入市场的具有诸如LKPL-A002之类的双透镜3D适配器器的SonySRX-R2204K单投影仪系统。在单投影仪系统中，通过分离的投影透镜将公共成像仪的不同物理部分投影到屏幕上。
例如，数字投影仪可以结合成像仪，在所述成像仪上将第一区域用于右眼图像，并且将第二区域用于左眼图像。在这种实施例中，由于各个立体图像具有不同光程，所以立体对的显示将遭受对于胶片的上述差分失真的相同问题。
在这种实施例中，可以将类似的补偿应用于立体图像对。例如，在准备数据以分发(例如在文件中提供)给播放器(将数据播放给投影仪)时，或者通过播放器本身(或者播放器中的一个或多个处理器)在播放前或实时地(即当播放其他的补偿后图像时将补偿应用于一个或多个图像)，例如在将图像传输至投影仪时通过实时计算、通过投影仪自身中的实时计算、或者在成像电子设备中实时地、或者以前述方式的组合，将这种补偿通过一个或多个处理器或服务器应用于各个图像数据。可以使用针对胶片如上所述的实质上相同的过程，来执行服务器中的补偿或校正的计算或者实时处理，以产生类似的结果。
在图7中示意性地示出了数字投影仪系统700的示例，所述数字投影仪系统包括数字投影仪710和例如图1的胶片投影仪中使用那种的双透镜组件130。在这种情况下，系统700是单成像仪系统，并且只示出了一个成像仪720(例如省略了颜色轮盘和照明器)。其他系统可能具有三个成像仪(分别针对原色中的红色、绿色和蓝色)，并且具有将三种颜色光学叠加的组合器，可以这种系统看作是具有单个三色成像仪、或者三个分离的单色成像仪。在这种情况下，词语“成像仪”可以用作可变形镜子显示器(DMD)、硅上液晶(LCOS)、发光二极管(LED)矩阵显示器、扫描激光光栅等等的统称。换句话说，成像仪指的是在其上通过电子设备形成图像以用于投影的单元、部件、组件或子系统。在大多数情况下，光源或照明器与成像仪分离或者不同，但是在一些情况下，成像仪可以是发射性的(包括光源)，如LED矩阵。流行的成像仪技术包括微镜阵列，例如由德州达拉斯的德州仪器公司生产的微镜阵列，以及液晶调制器，例如由索尼电子公司生产的硅上液晶(LCMOS)成像仪。
成像仪720创建可动态变更的右眼图像711和对应的左眼图像712。与图1的配置类似，通过透镜组件130的上部分对右眼图像711进行投影，并且通过透镜组件130的下部分对左眼图像712进行投影。将图像711和712相分离的间隙712可以是成像仪120的未使用部分。因为成像仪720整体上不移动或平移(与胶片冲印相片的物理前进不同)，而是保持静止(除了对于DMD中的镜子沿不同方向倾斜之外)，所以间隙713可以显著小于3D胶片中的对应间隙(例如图1中的帧内间隙113)，从而成像仪711和712可以更加稳定。
此外，因为从投影仪中移除透镜或透镜系统130的可能性更小(例如与当装入或移出胶片时的胶片投影仪相反)，所以可以存在更加精确的对齐，包括使用从透镜130朝着成像仪720突起并且与隔片138共面的方向标。
注意，这里只示出了一个成像仪720。一些彩色投影仪只具有单个成像仪，该单个成像仪包括颜色转轮或其他可动态切换的滤色器(未示出)，其在单个成像仪前面旋转以允许成像仪动态地显示多于一种颜色。当颜色转轮的红色段位于成像仪和透镜之间时，成像仪对白光进行调制以显示图像内容的红色分量。当转轮(或滤色器)行进到绿色时，通过成像仪显示图像内容的绿色分量，针对图像中的每一个RGB原色(红色、绿色、蓝色)以此类推。
图7示出了按照透射模式工作的成像仪，即当来自照明器(未示出)的光透过成像仪，正如透过胶片一样。然而，其他成像仪按照反射模式操作，即来自照明器的光碰撞到成像仪的正面上，并且被反射离开成像仪。在一些情况下(例如许多微镜阵列)，这种反射是离轴的，即不是与成像仪平面垂直，并且在其他情况下(例如，大多数基于液晶的成像仪)，照明光和反射光的轴实质上与成像仪的平面垂直。
在大多数非透射实施例中，需要附加的折叠光学装置、中继透镜、分束器等等(为了清楚起见，都是本领域普通技术人员已知的，在图7中未示出)，以允许成像仪720接收照明，并且允许透镜130能够将图像711和712投影到屏幕140上。数字影院投影仪更加复杂，并且使用三个成像仪(未示出)，各自分别用于RGB(红色、绿色和蓝色)原色中的一个。
图8示出了用于校正3D投影系统中的差分失真的替代方法800。在步骤802中，对立体图像对的至少第一图像进行投影。可以从胶片或数字文件提供可以称作测试图像的图像，用于对投影图像的失真加以特征化。与图5或图6的示例类似，胶片类似于原始3D胶片(未校正来自投影系统的几何失真)，并且具有适合原始3D胶片的胶片格式的图像高宽比和尺寸。可以将所述胶片提供为胶片环，并且不同帧中的图像可以彼此相同或不同。在数字文件的情况下，图像通常按照编码压缩形式(例如JPEG2000)存储，要求解码以便通过投影仪来呈现(这种编码文件和通过未示出的图像处理器进行的解码是众所周知的)。可以从用于图像特征化的数字文件中播放包含测试图像的单个帧。
在步骤804，针对至少一种失真，例如针对差分失真，对至少投影的第一图像执行至少一种测量。在一个实施例中，对步骤802中投影的左眼图像和右眼图像两者执行失真测量。替代地，如果存在与立体图像之一(例如右眼图像)所关联的失真有关的现有知识，那么针对另一图像(例如左眼图像)的失真测量足以允许确定对于差分失真的适当补偿。当然，必须相对于第二图像的已知失真来进行针对第一图像的失真测量，以便其对于补偿差分失真是有用的。可以根据经验获得这种现有知识，或者可以基于投影系统的特定参数来计算这种现有知识，例如投射距离、轴间距离等。然而，在缺乏这种现有知识的情况下，通常需要立体图像(左眼图像和右眼图像)两者的投影以用于失真测量。
在步骤806，基于针对至少第一投影图像的至少一种测量来建立或计算补偿变换。
在步骤808，将补偿变换应用于原始(未校正失真)3D胶片或数字文件中立体对的至少一个图像的所有帧，使得3D胶片或数字文件中所得到的或校正的图像与原始未校正图像相比具有减小的失真(例如，差分失真)。在一个示例中，应用足够的补偿或校正，使得所得到的立体图像表现出实质上没有差分失真。注意，如果针对所投影的右眼图像执行失真测量，则可以将根据测量的失真而导出的补偿变换应用于3D胶片或数字文件中的所有右眼图像。替代地，可以将从测量导出不同的差分补偿变换，以应用于所有左眼图像。如果针对差分失真(即(未校正的)左眼图像和右眼图像中的点或对象的位置之间的差异)获得测量，那么要应用于所有左眼图像的变换具有与应用于右眼图像的变换相反的方向。
通常，用于测量(即在步骤802和804中)的图像可以与在步骤808中被应用补偿的那些图像相同或不同。因此，可以将立体对的至少一个图像(即来自测试胶片或数字文件的左眼图像或右眼图像)用于测量(在步骤802和804中)，并且基于这些测量来确定至少一个补偿变换。然后可以将所述补偿变换应用于属于演出或节目的立体对的至少一个图像的所有帧，以减小差分失真。
依赖于情况，以上方法步骤的变体也是可能的。例如，如果差分失真的量是已知的或者是提供的，可以省略图像投影步骤802和/或测量步骤804。在这种场景中，可以基于已知的差分失真来修改图像，使得可以没有任何实质性差分失真地投影校正后图像。
在另一种场景中，不是投影图像并且对图像执行测量，而是可以测量整个投影环境(包括投影仪和影院)，并且计算失真。替代地，如果已经测量了代表性环境，则可以假设失真是类似的，并针对另一个环境使用所估计的差分失真。
例如，可以基于投射距离l和轴间距离d来获得差分梯形失真的粗略估计，并且使用投射距离l和轴间距离d之比来预测梯形失真。可以通过添加屏幕宽度来改善所述估计，并且可以通过包括投影仪和屏幕倾斜来进一步改善所述估计。
在再一种场景中，可以提供失真信息作为原始猜想或估计，例如在合理的范围或预期内。然后可以基于这一初始失真信息来应用补偿变换，并且在检查了结果时，可以在需要时应用附加的补偿，直到已经将失真减小到满意的水平为止。
因此，用于对立体图像中的失真进行校准的更一般的方法可以包括提供变换，用于对立体对的第一图像和第二图像之间的差分失真的至少一部分进行补偿，例如补偿变换是通过包括计算、测量或估计在内的多种方法来获得的，或者由其他方提供的。然后，将补偿变换应用于至少第一图像，以减小相对于第二图像的差分失真。对于3D胶片或数字文件，将相同的补偿变换应用于与同一眼睛相对应的图像的所有帧。
以上方法将得到经失真补偿的3D胶片或数字文件，其包含两组图像，例如第一组图像针对一只眼睛，而第二组图像针对另一只眼睛。第一组中的每一个图像(例如右眼图像)与第二组的相关联或相应的图像(例如左眼图像)形成立体对。第一组图像和第二组图像中至少一组(即第一组和第二组的任一组或两组都)将结合变换，即其图像数据是已经从原始胶片或数字文件的图像数据变换得到的，以至少部分地补偿差分失真。
本发明的另一个实施例提出了一种系统，具有至少一个处理器和相关联的计算机可读介质(例如硬盘驱动、可移除存储器、只读存储器、随机存取存储器等)。将程序指令存储在计算机可读介质中，使得当通过一个或多个处理器执行时，所述程序指令促使实施根据上述一个或多个实施例的方法。
尽管前述内容针对本发明的多个实施例，在不脱离其基本范围的情况下可以设计本发明的其他和另外实施例。同样，本发明的合适范围根据所附权利要求来确定。

Claims (26)

1.一种用于三维(3D)投影的方法，包括：
(a)提供变换，所述变换用于对3D投影的立体图像对中的第一图像和第二图像之间的差分失真的至少一部分进行补偿；以及
(b)将该补偿变换应用于至少第一图像，以减小相对于第二图像的差分失真。
2.根据权利要求1所述的方法，其中基于通过以下至少之一提供的失真信息来获得所述补偿变换：测量、计算和估计。
3.根据权利要求2所述的方法，还包括：
(c)对所述立体图像对中第一图像和第二图像的至少一个进行投影；
(d)对于至少一个投影的图像执行至少一个失真测量；以及
其中基于所述至少一个失真测量来获得所述补偿变换。
4.根据权利要求3所述的方法，其中：
步骤(c)还包括：对所述立体图像对的两个图像都进行投影；以及
其中所述至少一个失真测量包括对投影的图像之间的差分失真的测量。
5.根据权利要求2所述的方法，还包括：
基于从多个投影系统的每一个所投影的立体图像对的两个图像获得的多个失真测量，计算平均差分失真；以及
基于所述平均差分失真导出所述补偿变换。
6.根据权利要求3所述的方法，其中所述差分失真包括以下至少之一：梯形失真、枕形失真和桶形失真。
7.根据利要求2所述的方法，其中所述失真信息是通过基于投影系统的参数进行计算而提供的。
8.根据权利要求1所述的方法，其中在以下之一中提供立体图像对：胶片和数字图像文件。
9.根据权利要求1所述的方法，还包括：
(e)至少基于来自步骤(b)的变换后图像，来产生经失真补偿的胶片。
10.根据权利要求1所述的方法，还包括：
(f)至少基于来自步骤(b)的变换后图像，来创建数字图像文件；以及
(g)播放所述数字图像文件。
11.根据权利要求1所述的方法，其中步骤(b)还包括：在播放变换后的数字图像时，实时地将所述补偿变换应用于一个或多个数字图像。
12.用于在三维(3D)投影系统中投影的多个图像，包括：
第一组图像和第二组图像，第一组图像中的每一个图像与第二组图像中相关联的图像形成立体图像对；
其中第一组图像和第二组图像中至少一组包括已经变换的图像数据，所述变换用于至少部分地补偿任意立体图像对的相应图像之间的差分失真，所述差分失真与投影系统相关联。
13.根据权利要求12所述的图像，其中所述变换对第一组图像和第二组图像之间的实质上所有差分失真进行补偿，从而当通过投影系统投影时，在第一组图像和第二组图像之间没有失真。
14.根据权利要求13所述的图像，其中基于通过以下至少之一提供的失真信息来获得所述变换：测量、计算和估计。
15.根据权利要求13所述的图像，由以下之一提供：胶片和数字文件。
16.一种系统，包括：
投影仪，用于对三维(3D)图像进行投影；以及
至少一个处理器，配置为提供补偿变换，并且将所述补偿变换应用于3D投影的图像。
17.根据权利要求16所述的系统，其中所述处理器还配置为基于从以下至少之一中获得的失真信息来获得补偿变换：测量、计算和估计。
18.根据权利要求16所述的系统，其中所述失真信息涉及投影仪的参数。
19.根据权利要求16所述的系统，其中在以下之一中提供所述图像：胶片和数字图像文件。
20.根据权利要求17所述的系统，其中所述至少一个处理器还配置为将所述补偿变换应用于与以下至少之一相关联的所有图像：胶片中的左眼图像和右眼图像，以产生经失真补偿的胶片。
21.根据权利要求17所述的系统，其中所述至少一个处理器还配置为播放数字图像文件。
22.根据权利要求21所述的系统，其中所述至少一个处理器还配置为在播放数字图像文件之前或者与播放同时地，将所述补偿变换应用于立体图像对。
23.根据权利要求17所述的系统，其中所述至少一个处理器还配置为对至少一个立体图像对执行差分失真的至少一个测量。
24.根据权利要求23所述的系统，其中从根据差分失真的多个测量获得的平均差分失真，导出补偿变换。
25.根据权利要求24所述的系统，其中从不同的投影系统获得所述多个测量。
26.一种计算机可读介质，具有存储的指令，当通过处理器执行所述指令时，所述指令将执行包括以下步骤的方法：
(a)提供变换，所述变换用于对3D投影的立体图像对中的第一图像和第二图像之间的差分失真的至少一部分进行补偿；以及
(b)将该补偿变换应用于至少第一图像，以减小相对于第二图像的差分失真。
CN201080029302.1A 2009-07-02 2010-07-01 三维(3d)投影的差分失真校正方法和系统 Expired - Fee Related CN102474631B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US27009409P 2009-07-02 2009-07-02
US61/270,094 2009-07-02
US26125909P 2009-11-13 2009-11-13
US61/261,259 2009-11-13
PCT/US2010/001886 WO2011002515A1 (en) 2009-07-02 2010-07-01 Method and system for differential distortion correction for three-dimensional (3d) projection

Publications (2)

Publication Number Publication Date
CN102474631A true CN102474631A (zh) 2012-05-23
CN102474631B CN102474631B (zh) 2015-11-25

Family

ID=42676903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080029302.1A Expired - Fee Related CN102474631B (zh) 2009-07-02 2010-07-01 三维(3d)投影的差分失真校正方法和系统

Country Status (7)

Country Link
US (1) US9143748B2 (zh)
EP (1) EP2449787A1 (zh)
JP (1) JP5881601B2 (zh)
KR (1) KR20120039563A (zh)
CN (1) CN102474631B (zh)
CA (1) CA2766989A1 (zh)
WO (1) WO2011002515A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
CN112446856A (zh) * 2014-11-10 2021-03-05 维申Rt有限公司 摄像机参数检查方法及相应患者监控系统和计算机

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474640B (zh) * 2009-08-12 2015-03-04 汤姆逊许可证公司 用于三维(3d)放映的干扰和失真修正的方法和系统
KR20130094294A (ko) * 2010-07-13 2013-08-23 램 스리칸쓰 밀래이 스틸 사진용의 가변 3차원 카메라 어셈블리
US9179139B2 (en) * 2011-01-10 2015-11-03 Kodak Alaris Inc. Alignment of stereo images pairs for viewing
WO2012098607A1 (ja) * 2011-01-19 2012-07-26 パナソニック株式会社 立体画像処理装置および立体画像処理方法
US9630091B2 (en) * 2011-09-23 2017-04-25 The Finch Company Pty Limited Image processing
US20140225995A1 (en) 2011-10-03 2014-08-14 Thomson Licensing Method for crosstalk correction for 3d projection
JP6322993B2 (ja) * 2013-12-19 2018-05-16 カシオ計算機株式会社 幾何学補正調整方法
US10415513B2 (en) * 2015-05-26 2019-09-17 Tenneco Gmbh EGR system with particle filter and wastegate
CN109923585B (zh) 2016-10-26 2021-06-08 华为技术有限公司 使用立体图像进行深度检测的方法和装置
CN111240148B (zh) * 2019-12-27 2021-08-10 北京航空航天大学 一种基于自适应变焦相机的全息实时获取与投影系统
CN111419002B (zh) * 2020-03-20 2021-12-07 温州大学 一种应用于教学的多媒体设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471792A (zh) * 2000-08-30 2004-01-28 霍尼韦尔国际公司 利用光学函数发生器的无缝平铺显示器的电子校准
CN101180873A (zh) * 2005-04-26 2008-05-14 图象公司 电子投影系统及其方法
US20090153649A1 (en) * 2007-12-13 2009-06-18 Shinichiro Hirooka Imaging Apparatus

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB835705A (en) 1956-07-30 1960-05-25 Arthur Abbey Improved combined photographic printing and projecting system
US4235503A (en) 1978-05-08 1980-11-25 Condon Chris J Film projection lens system for 3-D movies
US4464028A (en) 1981-11-17 1984-08-07 Condon Chris J Motion picture system for single strip 3-D filming
JP2643525B2 (ja) 1989-03-29 1997-08-20 富士写真フイルム株式会社 写真焼付機の露光制御方法
DE69030911T2 (de) 1989-10-25 1997-11-06 Hitachi Ltd Stereoskopisches bilderzeugendes System
KR930003307B1 (ko) 1989-12-14 1993-04-24 주식회사 금성사 입체용 프로젝터
US6002518A (en) 1990-06-11 1999-12-14 Reveo, Inc. Phase-retardation based system for stereoscopic viewing micropolarized spatially-multiplexed images substantially free of visual-channel cross-talk and asymmetric image distortion
US5099359A (en) 1990-09-11 1992-03-24 Eastman Kodak Company Composite optical interference filter for use in film scanner system
US5481321A (en) * 1991-01-29 1996-01-02 Stereographics Corp. Stereoscopic motion picture projection system
US5255083A (en) 1991-06-05 1993-10-19 Sony Corporation Of America Digital color correction system and method
US6608652B1 (en) 1995-10-14 2003-08-19 Semiconductor Energy Laboratory Co., Ltd. Image display system and method
US5808623A (en) 1996-10-07 1998-09-15 Adobe Systems Incorporated System and method for perspective transform in computer using multi-pass algorithm
US6011863A (en) 1997-06-12 2000-01-04 Nec Research Institute, Inc. Cylindrical rectification to minimize epipolar distortion
WO1999056158A1 (en) 1998-04-24 1999-11-04 Minnesota Mining And Manufacturing Company Optical components with self-adhering diffuser
JP2000075258A (ja) 1998-08-27 2000-03-14 Seiko Epson Corp 投写型表示装置
EP1118210A4 (en) 1998-10-02 2006-08-23 Macronix Int Co Ltd METHOD AND APPARATUS FOR PREVENTING TRAPEZE DISTORTION
US6191827B1 (en) 1998-12-01 2001-02-20 Oplus Technologies Ltd. Electronic keystone correction for electronic devices with a visual display
JP4493113B2 (ja) 1999-01-29 2010-06-30 株式会社リコー プロジェクタおよび投影画像補正装置
US6433840B1 (en) 1999-07-22 2002-08-13 Evans & Sutherland Computer Corporation Method and apparatus for multi-level image alignment
JP2001054142A (ja) 1999-08-05 2001-02-23 Nippon Hoso Kyokai <Nhk> 時分割方式による立体画像表示におけるクロストーク低減方法および装置
US6753907B1 (en) 1999-12-23 2004-06-22 Justsystem Corporation Method and apparatus for automatic keystone correction
WO2001055778A1 (fr) 2000-01-28 2001-08-02 Seiko Epson Corporation Polariseur de reflexion optique et projecteur comprenant ce polariseur
JP2001339742A (ja) 2000-03-21 2001-12-07 Olympus Optical Co Ltd 立体映像プロジェクション装置、及びその補正量演算装置
JP4347994B2 (ja) 2000-05-31 2009-10-21 勝 尾嶋 苗床供給機
US6765568B2 (en) 2000-06-12 2004-07-20 Vrex, Inc. Electronic stereoscopic media delivery system
JP3596504B2 (ja) 2000-09-28 2004-12-02 セイコーエプソン株式会社 光変調装置の冷却構造、およびプロジェクタ
US6804392B1 (en) 2000-10-16 2004-10-12 Eastman Kodak Company Removing color aliasing artifacts from color digital images
US6491400B1 (en) 2000-10-24 2002-12-10 Eastman Kodak Company Correcting for keystone distortion in a digital image displayed by a digital projector
TW567742B (en) 2001-03-22 2003-12-21 Ind Tech Res Inst Cooling apparatus of liquid crystal projector
US6977693B2 (en) 2001-06-11 2005-12-20 Sun Microsystems, Inc. Networked video projector apparatus and method of projecting a video frame on a video projector
US7352913B2 (en) 2001-06-12 2008-04-01 Silicon Optix Inc. System and method for correcting multiple axis displacement distortion
JP2003061116A (ja) 2001-08-09 2003-02-28 Olympus Optical Co Ltd 立体映像表示装置
TW495047U (en) 2001-10-24 2002-07-11 Optoma Corp Overall cooling device for reflection type liquid crystal imaging
US6974217B2 (en) 2002-03-20 2005-12-13 Seiko Epson Corporation Projector executing keystone correction
KR100571219B1 (ko) 2003-01-08 2006-04-13 엘지전자 주식회사 3차원 가상 스크린 기반 영상왜곡 보정장치
JP3844075B2 (ja) 2003-01-17 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
JP3844076B2 (ja) 2003-03-07 2006-11-08 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7073911B2 (en) 2003-03-14 2006-07-11 Seiko Epson Corporation Projector with improved heat radiation
US7148945B2 (en) 2003-03-14 2006-12-12 Seiko Epson Corporation Optical device having a plurality of optical modulator units, projector equipping the same, and particular heat insulation
JP3871061B2 (ja) 2003-03-25 2007-01-24 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
JP4446080B2 (ja) 2003-10-27 2010-04-07 株式会社セガ 画像表示における歪補正機能を有する画像表示装置
US7144115B2 (en) 2004-04-14 2006-12-05 Sharp Laboratories Of America, Inc. Projection system
DE602004004581T2 (de) 2004-04-19 2008-02-21 Sony Deutschland Gmbh Modulares Projektionssystem für Stereoskopie mit nur einer Lichtquelle und zeitsequentieller Farbsteuerung
US6997563B1 (en) 2004-05-19 2006-02-14 Pixelworks, Inc. Keystone correction derived from the parameters of projectors
KR101227068B1 (ko) 2004-05-26 2013-01-28 티버 발로그 3차원 영상 생성 방법 및 장치
JP4622570B2 (ja) 2004-08-26 2011-02-02 パナソニック電工株式会社 仮想現実感生成装置およびそれに用いられるプログラム
JP4523368B2 (ja) 2004-09-10 2010-08-11 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
JP2006133252A (ja) 2004-11-02 2006-05-25 Matsushita Electric Works Ltd 仮想現実感生成装置
JP4126564B2 (ja) * 2005-02-14 2008-07-30 セイコーエプソン株式会社 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法
KR101423592B1 (ko) 2005-05-26 2014-07-30 리얼디 인크. 개선된 입체투사를 위한 고스트 보정
KR20060130887A (ko) 2005-06-09 2006-12-20 삼성전자주식회사 투사형 3차원 영상을 위한 스크린 및 프로젝션 시스템
KR100739764B1 (ko) 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
US7524053B2 (en) 2006-05-12 2009-04-28 Real D 3-D eyewear
US7517081B2 (en) 2006-07-20 2009-04-14 Real D Low-cost circular polarizing eyewear
CA2921760C (en) * 2007-05-09 2018-03-13 Reald Inc. Polarization conversion system and method for stereoscopic projection
US8879042B2 (en) 2007-11-16 2014-11-04 Manufacturing Resources International, Inc. Isolated cooling system having an insulator gap and front polarizer
US8339333B2 (en) * 2008-01-02 2012-12-25 3M Innovative Properties Company Methods of reducing perceived image crosstalk in a multiview display
EP2297694B1 (en) 2008-06-13 2014-10-01 Imax Corporation Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
CN101424863B (zh) 2008-12-04 2011-08-31 上海大学 立体摄像机及其视差自适应调节方法
IN2012DN00515A (zh) 2009-07-29 2015-08-21 Thomson Licensing
CN102474640B (zh) 2009-08-12 2015-03-04 汤姆逊许可证公司 用于三维(3d)放映的干扰和失真修正的方法和系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1471792A (zh) * 2000-08-30 2004-01-28 霍尼韦尔国际公司 利用光学函数发生器的无缝平铺显示器的电子校准
CN101180873A (zh) * 2005-04-26 2008-05-14 图象公司 电子投影系统及其方法
US20090153649A1 (en) * 2007-12-13 2009-06-18 Shinichiro Hirooka Imaging Apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104253990A (zh) * 2013-06-28 2014-12-31 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
CN104253990B (zh) * 2013-06-28 2018-11-16 罗伯特·博世有限公司 用车辆视野显示装置的成像器显示三维图像的方法和设备
CN112446856A (zh) * 2014-11-10 2021-03-05 维申Rt有限公司 摄像机参数检查方法及相应患者监控系统和计算机
CN112446856B (zh) * 2014-11-10 2024-08-30 维申Rt有限公司 摄像机参数检查方法及相应患者监控系统和计算机

Also Published As

Publication number Publication date
JP2012532490A (ja) 2012-12-13
EP2449787A1 (en) 2012-05-09
CA2766989A1 (en) 2011-01-06
JP5881601B2 (ja) 2016-03-09
WO2011002515A1 (en) 2011-01-06
CN102474631B (zh) 2015-11-25
KR20120039563A (ko) 2012-04-25
US20110007278A1 (en) 2011-01-13
US9143748B2 (en) 2015-09-22

Similar Documents

Publication Publication Date Title
US9143748B2 (en) Method and system for differential distortion correction for three-dimensional (3D) projection
JP5426773B2 (ja) ３次元（３ｄ）投影のためのクロストークおよび歪み補正の方法およびシステム
CN102484732B (zh) 用于三维放映的干扰修正方法
CA2767387C (en) Method and system for brightness correction for three-dimensional (3d) projection
US8567953B2 (en) Systems and methods for projecting composite images
US8764196B2 (en) Method and system for optical alignments for three-dimensional (3D) projection
US20140225995A1 (en) Method for crosstalk correction for 3d projection

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20151125

Termination date: 20170701