CN118573835A - 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 - Google Patents
在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 Download PDFInfo
- Publication number
- CN118573835A CN118573835A CN202410790595.9A CN202410790595A CN118573835A CN 118573835 A CN118573835 A CN 118573835A CN 202410790595 A CN202410790595 A CN 202410790595A CN 118573835 A CN118573835 A CN 118573835A
- Authority
- CN
- China
- Prior art keywords
- focal plane
- mfp
- image
- motion
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 453
- 230000033001 locomotion Effects 0.000 claims abstract description 319
- 238000009877 rendering Methods 0.000 claims abstract description 92
- 230000004044 response Effects 0.000 claims abstract description 17
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 238000001914 filtration Methods 0.000 claims description 49
- 230000015654 memory Effects 0.000 claims description 14
- 210000003128 head Anatomy 0.000 abstract description 63
- 238000013507 mapping Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 216
- 238000010586 diagram Methods 0.000 description 116
- 238000002156 mixing Methods 0.000 description 104
- 230000006870 function Effects 0.000 description 79
- 238000012360 testing method Methods 0.000 description 54
- 230000008859 change Effects 0.000 description 43
- 230000008447 perception Effects 0.000 description 43
- 239000002585 base Substances 0.000 description 41
- 230000000694 effects Effects 0.000 description 40
- 239000013598 vector Substances 0.000 description 37
- 230000015572 biosynthetic process Effects 0.000 description 35
- 239000011521 glass Substances 0.000 description 33
- 238000012545 processing Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 26
- 208000001692 Esotropia Diseases 0.000 description 21
- 239000000203 mixture Substances 0.000 description 21
- 230000009466 transformation Effects 0.000 description 20
- 230000005540 biological transmission Effects 0.000 description 19
- 238000005516 engineering process Methods 0.000 description 18
- 239000002131 composite material Substances 0.000 description 16
- 238000011049 filling Methods 0.000 description 15
- 230000002829 reductive effect Effects 0.000 description 15
- 230000008901 benefit Effects 0.000 description 12
- 230000003993 interaction Effects 0.000 description 11
- 230000000007 visual effect Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000004308 accommodation Effects 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000003190 augmentative effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 6
- 238000005192 partition Methods 0.000 description 6
- 238000013139 quantization Methods 0.000 description 6
- 230000007704 transition Effects 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 206010052143 Ocular discomfort Diseases 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000000354 decomposition reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000000844 transformation Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000000996 additive effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 239000000123 paper Substances 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 241000760358 Enodes Species 0.000 description 2
- 241000700159 Rattus Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000593 degrading effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000011002 quantification Methods 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000004256 retinal image Effects 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 241001351225 Sergey Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 239000012458 free base Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 229910052739 hydrogen Inorganic materials 0.000 description 1
- 239000001257 hydrogen Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
- G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/006—Pseudo-stereoscopic systems, i.e. systems wherein a stereoscopic effect is obtained without sending different images to the viewer's eyes
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Generation (AREA)
Abstract
示例方法的一些实施例可以包括：接收具有深度信息的输入图像；将所述输入图像映射到一组焦平面图像；使用头部定向信息来定向所述一组焦平面图像，以提供左眼和右眼之间的立体差异；以及显示所述经定向的一组焦平面图像。另一示例方法的一些实施例可以包括：接收关于三维(3D)内容的描述；从跟踪器接收指示观看者相对于真实世界环境的运动的信息；响应于接收到指示所述观看者的运动的所述信息，通过改变所述3D内容的多焦平面来合成运动视差；以及使用所述改变的多焦平面渲染，将图像渲染到所述多焦平面显示器。
Description
本申请为2019年3月20日递交的题为“在DIBR系统(MFP-DIBR)中产生立体视点的基于多焦面的方法”的中国专利申请No.201980031588.8的分案申请，该母案申请的内容通过引用而被整体结合于此。
相关申请的交叉引用
本申请是以下申请的非临时申请并根据35 U.S.C.§119(e)要求其权益：2018年3月23日提交的题为“Multifocal Plane Based Method to Produce StereoscopicViewpoints in a DIBR System(MFP-DIBR)(在DIBR系统DIP-DIBR中产生立体视点的基于多焦面的方法)”的美国临时专利申请No.62/647,568，该美国临时专利申请通过引用而被整体结合于此。
背景技术
可穿戴眼镜类型的近眼显示器(NED)在虚拟现实和游戏中以及最近还在增强现实中变得流行。使用移动电话作为显示元件的眼镜是用于观看虚拟或相机捕获的视频的流行的低成本设备的示例。通常，所有这些显示器呈现立体图像对的序列。立体渲染可与外部显示器一起使用，这其中包括用于立体3D(S3D)TV的那些显示器。
许多以前的基于MFP或基于3D的视点生成系统(其中视点可能由于用户运动而稍微改变)可能具有较低的视觉质量。许多支持自然调节的近眼显示器缺乏对视点变化的支持，这其中包括当转动人眼时(在眼框内稍微改变视点)相对于显示器的甚至小的视点变化。去遮挡(disocclusions)自然地取决于内容，但是在大的视点变化或差异的情况下可能更突出。形成用于立体视觉或运动视差(parallax)的虚拟视点可以用于例如360度视频的3DoF+扩展和其他3DoF应用中。
发明内容
根据一些实施例的示例方法可以包括：接收具有深度信息的输入图像；使用所述深度信息将所述输入图像映射到多个焦平面图像；使用头部定向(orientation)信息来定向所述多个焦平面图像以提供左眼与右眼之间的立体差异(disparity)；以及显示所定向的多个焦平面图像。
在示例方法的一些实施例中，至少接收所述输入图像和显示所定向的多个焦平面图像由多焦平面(MFP)显示器执行。
在示例性方法的一些实施例中，定向所述多个焦平面图像可以包括旋转所述多个焦平面图像中的一者或多者。
在示例方法的一些实施例中，旋转所述多个焦平面图像中的一者或多者可以包括相对于平行于水平线的向量，旋转所述焦平面图像中的一者或多者的视差向量。
在示例性方法的一些实施例中，对所述多个焦平面图像进行定向可以包括移动所述多个焦平面图像中的一者或多者。
在示例方法的一些实施例中，移动多个焦平面图像中的一个或多个焦平面图像可以包括缩放相应的一个或多个焦平面图像的视差向量。
在示例性方法的一些实施例中，移动多个焦平面图像中的一者或多者可包括相对于固定原点旋转多个焦平面图像中的一者或多者。
在所述示例方法的一些实施例中，移动所述多个焦平面图像中的一者或多者包括将所述多个焦平面图像中的一者或多者相对于固定原点移动一偏移量。
所述示例方法的一些实施例还可包括：处理所述多个焦平面图像以处理由移位所述焦平面图像引起的图像视差。
在所述示例性方法的一些实施例中，处理所述多个焦平面图像可以包括滤波所述多个焦平面图像中的一者或多者。
在所述示例方法的一些实施例中，处理所述多个焦平面图像包括：确定所述多个焦平面图像中的至少一者的深度混合权重；以及使用所述相应的深度混合权重，生成所述多个焦平面图像中的至少一者。
在所述示例方法的一些实施例中，生成多个焦平面图像中的至少一者包括将多个纹理中的至少一者乘以所述相应的深度混合权重。
在所述示例方法的一些实施例中，显示所定向的多个焦平面图像可以包括组合所移位的焦平面图像以生成立体图像对。
所述示例方法的一些实施例还可以包括：测量观看者相对于真实世界环境的位置的运动跟踪传感器读数，以生成所述头部定向信息。
所述示例方法的一些实施例还可以包括：响应于生成所述头部定向信息，通过改变所述多个焦平面图像中的一者或多者来合成运动视差。
在所述示例方法的一些实施例中，所合成的运动视差可以包括使用头部定向信息相对于彼此缩放多个焦平面图像中的一者或多者，并且头部定向信息可以指示轴向运动。
所述示例方法的一些实施例还可以包括：针对低频内容，对所述输入图像进行滤波；以及将所述低频内容重新分布到所述多个焦平面图像。
所述示例方法的一些实施例还可以包括：针对高频内容，对所述输入图像进行滤波；以及将所述高频内容分解到所述多个焦平面图像。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行上述示例方法中的一者。
根据一些实施例的示例方法可以包括：接收关于三维(3D)内容的描述；从跟踪器接收指示观看者相对于真实世界环境的运动的信息；响应于接收到指示所述观看者的运动的所述信息，通过改变所述3D内容的多焦平面来合成运动视差；以及使用所改变的多焦平面渲染，将图像渲染到所述多焦平面显示器。
在示例方法的一些实施例中，所合成的运动视差可以包括使用指示观看者的运动的信息来相对于彼此缩放所述多焦平面，并且观看者的所述运动可以是轴向的。
根据一些实施例的示例设备可以包括：处理器(例如，一个或多个处理器)；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行上述示例方法中的一者。
根据一些实施例的示例方法可以包括：确定映射到输入图像的多个焦平面图像；使用头部定向信息来定向所述多个焦平面图像以提供左眼与右眼之间的立体差异；以及显示所定向的多个焦平面图像。
在所述示例方法的一些实施例中，确定所述多个焦平面图像包括接收所述多个焦平面图像。
在所述示例方法的一些实施例中，确定所述多个焦平面图像包括将所述输入图像映射到所述多个焦平面图像以生成所述多个焦平面图像。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行上述示例方法中的一者。
根据一些实施例的示例方法可以包括：接收关于三维(3D)视频内容；接收观看者定向信号；使用所述3D视频内容和所述观看者定向信号来确定显示器的一个或多个焦平面的图像数据；以及使用所述图像数据将一个或多个焦平面图像渲染到显示器。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行上述示例方法。
附图说明
从以下结合附图以示例方式呈现的描述中可以获得更详细的理解。此外，图中相同的附图标记表示相同的元素。
图1A是示出了根据一些实施例的示例性通信系统的示例性系统的示意图。
图1B是示出了根据一些实施例的可以在图1A所示的通信系统内部使用的示例性无线发射/接收单元(WTRU)的示例性系统的系统示意图。
图2A是示出了在距用户不同深度处显示的一组示例焦平面的示意图。
图2B示出了示例焦平面图像的图示。
图3是示出了对于珀西瓦尔(Percival)的舒适区，左图像和右图像之间的示例图像差异与观察者到屏幕的距离的关系的曲线图。
图4是示出了用于具有未旋转定向的观看者的立体显示器的示例左眼图像和右眼图像的示意图。
图5是示出了用于观看者的立体显示器的以眼镜坐标为界的示例性左眼图像和右眼图像的示意图，其中观看者随着头部水平倾斜而旋转定向。
图6是示出了针对具有旋转定向和未改变差异的观看者的立体显示器的、被调整为满足水平定向的示例左眼图像和右眼图像的示意图。
图7是示出了用于操纵图像视差的一组示例界面的系统图。
图8是示出了用于基于DIBR的3D传输系统的一组示例性接口的系统图。
图9是示出了示出了如果在源相机和目标相机之间改变则出现去遮挡的示例场景的示意性平面图。
图10A和10B是示出了在孔洞填充之前和之后的示例3D扭曲图像的图示。
图11A-11C是示出了许多立体观看系统中的示例性聚散-调节冲突(VAC)的示意性透视图。
图12是示出了根据一些实施例的示例性多焦平面(MFP)近眼显示器的示意性平面图。
图13是示出了根据一些实施例的近、中和远焦图像平面的示例观看的示意性平面图。
图14是示出了由观察者观看到的示例焦点图像平面的示意图。
图15A-15C是示出了正方形的示例图像的示例前焦平面和后焦平面的示意图。
图16A-16B是示出了为右眼图像和左眼图像显示的示例性焦平面的示意性正视图。
图17是示出了利用基于深度的发光度加权函数来观看两个焦平面的示例的示意性平面图。
图18是示出了根据一些实施例的由左眼和右眼观看三个焦平面的示例的示意性平面图。
图19是示出了根据一些实施例的没有深度混合(加权)的MFP显示器的深度的示例量化的示意性平面图。
图20A和20B是示出了根据一些实施例的权重对深度的示例的曲线图。
图21A是示出了根据一些实施例的权重对深度的示例混合函数的曲线图。
图21B是示出了示例测试图像的图示。
图21C是说明图21B的像素距离的示例深度图。
图21D-21F是示出了根据一些实施例的使用图21A的深度权重与图21B的测试图像及其图21C的示例深度图的示例焦平面图像的图示。
图22A是示出了根据一些实施例的权重对深度的示例混合函数的曲线图。
图22B是示出了示例测试图像的图示。
图22C是示出了图22B的像素距离的示例深度图。
图22D-22F是示出了根据一些实施例的使用图22A的深度权重与图22B的测试图像及其图22C的示例深度图的示例焦平面图像的图示。
图23A-23C是示出了根据一些实施例的立体图像视差的示例场景的示意性正视图。
图24A-24C是示出了根据一些实施例的关于观看者定向方向的图像视差的示例场景的示意性正视图。
图25是示出了根据一些实施例的用于生成左眼和右眼移位和投影的MFP的一组示例处理块和接口的系统图。
图26是示出了根据一些实施例的用于针对观看者定向的三种场景生成左眼和右眼移位和投影的MFP的一组示例处理块和接口的系统图。
图27A-27D是示出了根据一些实施例的在不同观察者定向下观看的示例焦平面的示意性平面图。
图28A是示出了示例测试图像的图示。
图28B-28D是示出了根据一些实施例的使用图28A的测试图像的示例性加权焦平面图像的图示。
图29A和29B是示出了根据一些实施例的相应地使用图28B-28D的焦平面图像形成的示例右眼图像和左眼图像的图示。
图30A-30C是示出了根据一些实施例的在不同眼睛间距下观看的示例性焦平面的示意性平面图。
图31A是示出了根据一些实施例的利用正弦深度加权形成的右眼的示例立体图像的放大摘录(excerpt)的图示。
图31B-31C是示出了根据一些实施例的相应地以正弦深度加权形成的右眼和左眼的示例立体图像的图示。
图31D是示出了根据一些实施例的利用多项式深度加权形成的右眼的示例立体图像的放大摘录的图示。
图31E-31F是示出了根据一些实施例的相应地用多项式深度加权形成的示例右眼图像和左眼图像的图示。
图32A-32C是示出了根据一些实施例的具有不同用户定向的第一立体显示器的示例差异的示意性前视图。
图32D-32F是示出了根据一些实施例的具有不同用户定向的第二立体显示器的示例差异的示意性前视图。
图33A-33C是示出了根据一些实施例的具有不同用户定向的立体显示器的示例差异的示意性前视图。
图34是示出了根据一些实施例的用于具有旋转定向的观看者的立体显示器的示例左眼图像和右眼图像的示意性用户视图。
图35是示出了根据一些实施例的用于通过使一组焦平面图像左右偏斜来为视图产生多个视点的示例过程的示意性处理图。
图36是示出了根据一些实施例的用于使用图35的偏斜图像的立体显示器的示例系列的三个立体图像的图示。
图37为示出了根据一些实施例的用于针对三个观看者定向，生成柔性基线立体显示器的移位和投影的MFP图像的一组示例处理块和界面的系统图。
图38A-38C是示出了根据一些实施例的一组计算机窗口，其分别示出了深度图图像、深度加权图和所生成的焦平面图像的图像操纵程序的一组示例界面。
图39A-39C是示出了在模拟环境中的一组示例生成的焦平面图像的图示。
图40是示出了根据一些实施例的用于生成多焦平面(MFP)显示图像的示例性过程的消息序列图。
图41是示出了根据一些实施方式的用于生成立体3D显示图像的示例过程的消息序列图。
图42A是示出了根据一些实施例的权重对深度的示例混合函数的曲线图。
图42B是示出了示例测试图像的图示。
图42C是示出了图42B的像素距离的示例深度图。
图42D-42F是示出了根据一些实施例的使用图42A的深度权重与图42B的测试图像及其图42C的示例深度图的示例焦平面图像的图示。
图43A是示出了根据一些实施例的权重对深度的示例混合函数的曲线图。
图43B是示出了示例测试图像的图示。
图43C是示出了图43B的像素距离的示例深度图。
图43D-43F是示出了根据一些实施例的使用图43A的深度权重与图43B的测试图像及其图43C的示例深度图的示例焦平面图像的图示。
图44是示出了在距用户不同深度处捕获的示例焦点堆栈图像的示意图。
图45A-45D是示出了示例线性混合焦平面的图示。
图45E-45H是示出了示例重新分布的焦平面的图示。
图46A和46B是示出了根据一些实施例的使用非混合焦平面图像形成的相应的右眼和左眼的示例立体图像的图示。
图47是示出了根据一些实施例的用于生成前部、中部和后部深度范围的重新分布的焦平面图像的示例过程的流程图。
图48A-48C是示出了根据一些实施例的没有重新分布的示例焦平面图像的图示。
图48D-48F是示出了根据一些实施例的具有重新分布的示例焦平面图像的图示。
图49A-49B是示出了根据一些实施例的使用线性混合焦平面形成的交叉眼睛立体图的示例右图像和左图像的图示。
图50A-50B是示出了根据一些实施例的使用重新分布的焦平面形成的交叉眼睛立体图的示例右图像和左图像的图示。
图51A-51B是示出了根据一些实施例的在重新分布MFP中使用选择性高斯滤波形成的交叉眼睛立体图的示例右图像和左图像的图示。
图52A是示出了根据一些实施例的用于使用低频和高频滤波来生成重新分布的焦平面图像的示例过程的流程图。
图52B是示出了根据一些实施例的用于使用低通滤波来生成高频焦平面图像的示例过程的流程图。
图53是示出了根据一些实施例的用于生成针对前部、中部和后部深度范围的重新分布的焦平面图像的示例过程的流程图。
图54是示出了根据一些实施例的用于使用低通滤波来生成重新分布的焦平面图像的示例过程的流程图。
图55A-55B是示出了根据一些实施例的在空间中渲染的示例性多焦平面的示意性透视图。
图56A-56C是示出了根据一些实施例的针对不同视点而移位和缩放的多焦平面的三个示例的示意性透视图。
图57是示出了根据一些实施方式的用于在运动视差系统中生成多焦平面的示例过程的过程图。
图58是示出根据一些实施例的用于轴向移动的示例性焦平面尺寸缩放调整的示意性平面图。
图59A-59C是示出了根据一些实施例的示例焦平面内容在轴向运动期间的示例变换的示意平面图。
图60是示出了根据一些实施例的在用户运动期间的视点坐标的示例跟踪的曲线图。
图61是示出了根据一些实施例的用于生成一组真正立体的多焦平面的示例过程的过程图。
图62是示出了根据一些实施例的用于生成一组合成的立体的多焦平面的示例过程的过程图。
图63是示出了根据一些实施例的用于生成和汇总(summing)一组多焦平面以用于二维显示器的示例过程的过程图。
图64是示出了根据一些实施例的用于生成和汇总一组多焦平面以用于单目2D显示器的示例过程的过程图。
图65是示出了根据一些实施例的用于生成和汇总一组多焦平面以用于真立体三维(S3D)显示器的示例过程的过程图。
图66是示出了根据一些实施例的用于生成和汇总一组多焦平面以用于一合成立体三维(S3D)显示器的示例过程的过程图。
图67是示出了根据一些实施例的用于生成具有前端处理路径和显示端路径的多焦平面的示例过程的过程图。
图68A-68J是示出了根据一些实施例的每组图像对(例如，图68C和68D)之间的轴向移动的一系列示例右图像和左图像的图示。
图69是示出了根据一些实施例的示例过程的流程图。
图70是示出了根据一些实施例的示例过程的流程图。
图71-92是分别对应于图2B、14、16A-16B、21B-21F、22B-22F、28A-28D、29A-29B、31A-31F、35、36、38C、39A-39C、42B-42F、43B-43F、44、45A-45H、46A-46B、48A-48F、49A-49B、50A-50B、51A-51B和68A-68J的原生图像的灰度版本。
在各个附图中描绘并结合各个附图描述的实体、连接、布置等是作为示例而非作为限制来呈现的。因此，关于特定附图“描绘”了什么、特定附图中的特定元素或实体“是”或“具有”的任何和所有陈述或其他指示、以及任何和所有类似陈述(其可能是孤立的且在上下文之外被解读为绝对的且因此是限制性的)可以仅在其前被建设性地加上诸如“在至少一个实施例中，…”这样的条款下被适当地解读。为了简洁和清楚地呈现，在详细描述中，并不重复这个隐含的引导性条款。
用于实施例的实现的示例网络
在本文所述的一些实施例中，无线发射/接收单元(WTRU)可以被用作例如MFP显示器。
图1A是示出了可以实施所公开的一个或多个实施例的示例性通信系统100的示意图。该通信系统100可以是为多个无线用户提供诸如语音、数据、视频、消息传递、广播等内容的多址接入系统。该通信系统100可以通过共享包括无线带宽在内的系统资源而使多个无线用户能够访问此类内容。举例来说，通信系统100可以使用一种或多种信道接入方法，例如码分多址(CDMA)、时分多址(TDMA)、频分多址(FDMA)、正交FDMA(OFDMA)、单载波FDMA(SC-FDMA)、零尾唯一字DFT-扩展OFDM(ZT UW DTS-s OFDM)、唯一字OFDM(UW-OFDM)、资源块滤波OFDM以及滤波器组多载波(FBMC)等等。
如图1A所示，通信系统100可以包括无线发射/接收单元(WTRU)102a、102b、102c、102d、RAN 104/113、CN 106/115、公共交换电话网络(PSTN)108、因特网110以及其他网络112，然而应该了解，所公开的实施例设想了任意数量的WTRU、基站、网络和/或网络部件。WTRU 102a、102b、102c、102d每一者可以是被配置成在无线环境中工作和/或通信的任何类型的设备。举例来说，WTRU 102a、102b、102c、102d任何一者都可以被称为“站”和/或“STA”，其可以被配置成发射和/或接收无线信号，并且可以包括用户设备(UE)、移动站、固定或移动订户单元、基于签约的单元、寻呼机、蜂窝电话、个人数字助理(PDA)、智能电话、膝上型计算机、上网本、个人计算机、无线传感器、热点或Mi-Fi设备、物联网(IoT)设备、手表或其他可穿戴设备、头戴显示器(HMD)、运载工具、无人机、医疗设备和应用(例如远程手术)、工业设备和应用(例如机器人和/或在工业和/或自动处理链环境中工作的其他无线设备)、消费类电子设备、以及在商业和/或工业无线网络上工作的设备等等。WTRU 102a、102b、102c、102d中的任何一者可被可交换地称为UE。
所述通信系统100还可以包括基站114a和/或基站114b。基站114a、114b的每一者可以是被配置成通过以无线方式与WTRU 102a、102b、102c、102d中的至少一者无线对接来促使其接入一个或多个通信网络(例如CN 106/115、因特网110、和/或其他网络112)的任何类型的设备。例如，基站114a、114b可以是基地收发信台(BTS)、节点B、e节点B、家庭节点B、家庭e节点B、gNB、新无线电(NR)节点B、站点控制器、接入点(AP)、以及无线路由器等等。虽然基站114a、114b的每一者都被描述成了单个部件，然而应该了解，基站114a、114b可以包括任何数量的互连基站和/或网络部件。
基站114a可以是RAN 104/113的一部分，并且该RAN还可以包括其他基站和/或网络部件(未显示)，例如基站控制器(BSC)、无线电网络控制器(RNC)、中继节点等等。基站114a和/或基站114b可被配置成在名为小区(未显示)的一个或多个载波频率上发射和/或接收无线信号。这些频率可以处于授权频谱、无授权频谱或是授权与无授权频谱的组合之中。小区可以为相对固定或者有可能随时间变化的特定地理区域提供无线服务覆盖。小区可被进一步分成小区扇区。例如，与基站114a相关联的小区可被分为三个扇区。由此，在一个实施例中，基站114a可以包括三个收发信机，即，每一个收发信机都对应于小区的一个扇区。在实施例中，基站114a可以使用多输入多输出(MIMO)技术，并且可以为小区的每一个扇区使用多个收发信机。例如，通过使用波束成形，可以在期望的空间方向上发射和/或接收信号。
基站114a、114b可以通过空中接口116来与WTRU 102a、102b、102c、102d中的一者或多者进行通信，其中所述空中接口可以是任何适当的无线通信链路(例如射频(RF)、微波、厘米波、毫米波、红外线(IR)、紫外线(UV)、可见光等等)。空中接口116可以使用任何适当的无线电接入技术(RAT)来建立。
更具体地说，如上所述，通信系统100可以是多址接入系统，并且可以使用一种或多种信道接入方案，例如CDMA、TDMA、FDMA、OFDMA以及SC-FDMA等等。例如，RAN 104/113中的基站114a与WTRU 102a、102b、102c可以实施某种无线电技术，例如通用移动电信系统(UMTS)陆地无线电接入(UTRA)，其中所述技术可以使用宽带CDMA(WCDMA)来建立空中接口115/116/117。WCDMA可以包括如高速分组接入(HSPA)和/或演进型HSPA(HSPA+)之类的通信协议。HSPA可以包括高速下行链路(DL)分组接入(HSDPA)和/或高速UL分组接入(HSUPA)。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种无线电技术，例如演进型UMTS陆地无线电接入(E-UTRA)，其中所述技术可以使用长期演进(LTE)和/或先进LTE(LTE-A)和/或先进LTE Pro(LTE-A Pro)来建立空中接口116。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施某种可以使用新无线电(NR)建立空中接口116的无线电技术，例如NR无线电接入。
在实施例中，基站114a和WTRU 102a、102b、102c可以实施多种无线电接入技术。例如，基站114a和WTRU 102a、102b、102c可以共同实施LTE无线电接入和NR无线电接入(例如使用双连接(DC)原理)。由此，WTRU 102a、102b、102c使用的空中接口可以通过多种类型的无线电接入技术和/或向/从多种类型的基站(例如，eNB和gNB)发送的传输来表征。
在其他实施例中，基站114a和WTRU 102a、102b、102c可以实施以下的无线电技术，例如IEEE 802.11(即，无线高保真(WiFi))、IEEE 802.16(即，全球微波接入互操作性(WiMAX))、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、临时标准2000(IS-2000)、临时标准95(IS-95)、临时标准856(IS-856)、全球移动通信系统(GSM)、用于GSM演进的增强数据速率(EDGE)、以及GSM EDGE(GERAN)等等。
图1A中的基站114b可以例如是无线路由器、家庭节点B、家庭e节点B或接入点，并且可以使用任何适当的RAT来促成局部区域中的无线连接，例如营业场所、住宅、运载工具、校园、工业设施、空中走廊(例如供无人机使用)以及道路等等。在一个实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.11之类的无线电技术来建立无线局域网(WLAN)。在实施例中，基站114b与WTRU 102c、102d可以通过实施IEEE 802.15之类的无线电技术来建立无线个人局域网(WPAN)。在再一个实施例中，基站114b和WTRU 102c、102d可通过使用基于蜂窝的RAT(例如WCDMA、CDMA2000、GSM、LTE、LTE-A、LTE-A Pro、NR等等)来建立微微小区或毫微微小区。如图1A所示，基站114b可以直连到因特网110。由此，基站114b不需要经由CN 106/115来接入因特网110。
RAN 104/113可以与CN 106/115进行通信，所述CN可以是被配置成向WTRU 102a、102b、102c、102d的一者或多者提供语音、数据、应用和/或借助网际协议语音(VoIP)服务的任何类型的网络。该数据可以具有不同的服务质量(QoS)需求，例如不同的吞吐量需求、延时需求、容错需求、可靠性需求、数据吞吐量需求、以及移动性需求等等。CN 106/115可以提供呼叫控制、记账服务、基于移动位置的服务、预付费呼叫、因特网连接、视频分发等等，和/或可以执行用户认证之类的高级安全功能。虽然在图1A中没有显示，然而应该了解，RAN104/113和/或CN 106/115可以直接或间接地和其他那些与RAN 104/113使用相同RAT或不同RAT的RAN进行通信。例如，除了与使用NR无线电技术的RAN 104/113相连之外，CN 106/115还可以与使用GSM、UMTS、CDMA 2000、WiMAX、E-UTRA或WiFi无线电技术的别的RAN(未显示)通信。
CN 106/115还可以充当供WTRU 102a、102b、102c、102d接入PSTN 108、因特网110和/或其他网络112的网关。PSTN 108可以包括提供简易老式电话服务(POTS)的电路交换电话网络。因特网110可以包括使用了公共通信协议(例如传输控制协议/网际协议(TCP/IP)网际协议族中的TCP、用户数据报协议(UDP)和/或IP)的全球性互联计算机网络设备系统。所述网络112可以包括由其他服务提供方拥有和/或运营的有线或无线通信网络。例如，所述网络112可以包括与一个或多个RAN相连的另一个CN，其中所述一个或多个RAN可以与RAN104/113使用相同RAT或不同RAT。
通信系统100中的一些或所有WTRU 102a、102b、102c、102d可以包括多模能力(例如WTRU 102a、102b、102c、102d可以包括在不同无线链路上与不同无线网络通信的多个收发信机)。例如，图1A所示的WTRU 102c可被配置成与使用基于蜂窝的无线电技术的基站114a通信，以及与可以使用IEEE 802无线电技术的基站114b通信。
图1B是示出了示例性WTRU 102的系统示意图。如图1B所示，WTRU 102可以包括处理器118、收发信机120、发射/接收部件122、扬声器/麦克风124、数字键盘126、显示器/触摸板128、不可移除存储器130、可移除存储器132、电源134、全球定位系统(GPS)芯片组136和/或周边设备138。应该了解的是，在保持符合实施例的同时，WTRU 102还可以包括前述部件的任何子组合。
处理器118可以是通用处理器、专用处理器、常规处理器、数字信号处理器(DSP)、多个微处理器、与DSP核心关联的一个或多个微处理器、控制器、微控制器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)电路、其他任何类型的集成电路(IC)以及状态机等等。处理器118可以执行信号编码、数据处理、功率控制、输入/输出处理、和/或其他任何能使WTRU102在无线环境中工作的功能。处理器118可以耦合至收发信机120，收发信机120可以耦合至发射/接收部件122。虽然图1B将处理器118和收发信机120描述成单独组件，然而应该了解，处理器118和收发信机120也可以一起集成在一电子组件或芯片中。
发射/接收部件122可被配置成经由空中接口116来发射或接收去往或来自基站(例如，基站114a)的信号。举个例子，在一个实施例中，发射/接收部件122可以是被配置成发射和/或接收RF信号的天线。作为示例，在另一实施例中，发射/接收部件122可以是被配置成发射和/或接收IR、UV或可见光信号的放射器/检测器。在再一个实施例中，发射/接收部件122可被配置成发射和/或接收RF和光信号。应该了解的是，发射/接收部件122可以被配置成发射和/或接收无线信号的任何组合。
虽然在图1B中将发射/接收部件122描述成是单个部件，但是WTRU 102可以包括任何数量的发射/接收部件122。更具体地说，WTRU 102可以使用MIMO技术。由此，在一个实施例中，WTRU 102可以包括两个或更多个通过空中接口116来发射和接收无线信号的发射/接收部件122(例如多个天线)。
收发信机120可被配置成对发射/接收部件122所要传送的信号进行调制，以及对发射/接收部件122接收的信号进行解调。如上所述，WTRU 102可以具有多模能力。因此，收发信机120可以包括允许WTRU 102借助多种RAT(例如NR和IEEE 802.11)来进行通信的多个收发信机。
WTRU 102的处理器118可以耦合到扬声器/麦克风124、数字键盘126和/或显示器/触摸板128(例如液晶显示器(LCD)显示单元或有机发光二极管(OLED)显示单元)，并且可以接收来自这些部件的用户输入数据。处理器118还可以向扬声器/麦克风124、键盘126和/或显示器/触摸板128输出用户数据。此外，处理器118可以从诸如不可移除存储器130和/或可移除存储器132之类的任何适当的存储器中存取信息，以及将信息存入这些存储器。不可移除存储器130可以包括随机存取存储器(RAM)、只读存储器(ROM)、硬盘或是其他任何类型的记忆存储设备。可移除存储器132可以包括订户身份模块(SIM)卡、记忆棒、安全数字(SD)记忆卡等等。在其他实施例中，处理器118可以从那些并非实际位于WTRU 102的存储器存取信息，以及将数据存入这些存储器，作为示例，此类存储器可以位于服务器或家庭计算机(未显示)。
处理器118可以接收来自电源134的电力，并且可被配置分发和/或控制用于WTRU102中的其他组件的电力。电源134可以是为WTRU 102供电的任何适当设备。例如，电源134可以包括一个或多个干电池组(如镍镉(Ni-Cd)、镍锌(Ni-Zn)、镍氢(NiMH)、锂离子(Li-ion)等等)、太阳能电池以及燃料电池等等。
处理器118还可以耦合到GPS芯片组136，该GPS芯片组可被配置成提供与WTRU 102的当前位置相关的位置信息(例如经度和纬度)。作为来自GPS芯片组136的信息的补充或替换，WTRU 102可以经由空中接口116接收来自基站(例如基站114a、114b)的位置信息，和/或根据从两个或更多个附近基站接收的信号定时来确定其位置。应该了解的是，在保持符合实施例的同时，WTRU 102可以借助任何适当的定位方法来获取位置信息。
处理器118还可以耦合到其他周边设备138，其中所述周边设备可以包括提供附加特征、功能和/或有线或无线连接的一个或多个软件和/或硬件模块。例如，所述周边设备138可以包括加速度计、电子指南针、卫星收发信机、数码相机(用于照片和/或视频)、通用串行总线(USB)端口、振动设备、电视收发信机、免提耳机、模块、调频(FM)无线电单元、数字音乐播放器、媒体播放器、视频游戏机模块、因特网浏览器、虚拟现实和/或增强现实(VR/AR)设备、以及活动跟踪器等等。所述周边设备138可以包括一个或多个传感器，所述传感器可以是以下的一者或多者：陀螺仪、加速度计、霍尔效应传感器、磁强计、方位传感器、邻近传感器、温度传感器、时间传感器、地理位置传感器、高度计、光传感器、触摸传感器、磁力计、气压计、手势传感器、生物测定传感器和/或湿度传感器等。
WTRU 102可以包括全双工无线电设备，其中对于该无线电设备来说，一些或所有信号(例如与用于UL(例如对传输而言)和下行链路(例如对接收而言)的特定子帧相关联)的接收或传输可以是并发和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/或基本消除自干扰的干扰管理单元。在实施例中，WTRU 102可以包括传送和接收一些或所有信号(例如与用于UL(例如对传输而言)或下行链路(例如对接收而言)的特定子帧相关联)的半双工无线电设备。
有鉴于图1A-1B以及关于图1A-1B的相应描述，在这里对照以下的一项或多项描述的一个或多个或所有功能可以由一个或多个仿真设备(未显示)来执行：WTRU 102a-d、基站114a-b、和/或这里描述的一个或多个其他任何设备。这些仿真设备可以是被配置成模拟这里描述的一个或多个或所有功能的一个或多个设备。举例来说，这些仿真设备可用于测试其他设备和/或模拟网络和/或WTRU功能。
所述仿真设备可被设计成在实验室环境和/或运营商网络环境中实施关于其他设备的一项或多项测试。例如，所述一个或多个仿真设备可以在被完全或部分作为有线和/或无线通信网络一部分实施和/或部署的同时执行一个或多个或所有功能，以便测试通信网络内部的其他设备。所述一个或多个仿真设备可以在被临时作为有线和/或无线通信网络的一部分实施或部署的同时执行一个或多个或所有功能。所述仿真设备可以直接耦合到别的设备以执行测试，和/或可以使用空中无线通信来执行测试。
所述一个或多个仿真设备可以在未被作为有线和/或无线通信网络一部分实施或部署的同时执行包括所有功能在内的一个或多个功能。例如，该仿真设备可以在测试实验室和/或未被部署(例如测试)的有线和/或无线通信网络的测试场景中使用，以便实施关于一个或多个组件的测试。所述一个或多个仿真设备可以是测试设备。所述仿真设备可以使用直接的RF耦合和/或借助RF电路(例如，该电路可以包括一个或多个天线)的无线通信来发射和/或接收数据。
具体实施方式
一种针对立体视点的基于MFP的方法
根据一些实施例的在此公开的系统和方法描述了用于在基于深度图像的渲染(DIBR)系统中的成本有效且灵活的立体视点生成的各种示例性的基于MFP的实施例。根据一些实施例的用于生成虚拟视点的示例方法使得用户能够更自由地改变他/她的头部倾斜和观看位置而不降低观看体验。另外，在一些实施例中，向用户提供自然运动视差和针对立体视觉的个人调整，这可通过根据一些实施例的本文公开的系统和方法实现，以用于创建立体差异。一些实施例使得能够为可穿戴和外部显示器这两者产生高质量的立体内容和基于差异的交互。一些实施例和交互方式可以与新兴的MFP显示器一起使用。
在一些实施例中，基于MFP的合成差异用于产生DIBR的高质量立体内容。在一些实施例中，焦平面的数量不受限制。此外，在接收机处形成立体视图实现了灵活的功能。使用MFP使得能够在实时操作中生成具有可调节的差异和定向的虚拟视点。该方法实现了多种功能，否则其可以使用更复杂和更比特率消耗的方法(例如，实时3D和光场系统)。深度加纹理输入格式可应用于一个或多个实施例，其可使用较低位速率来进行传输和存储。
在一些实施例中，MFP用于产生具有大差异的高质量立体内容。大差异意味着大的立体深度和/或保持到所产生的内容的小的观看距离。通过使用大量的MFP，以及通过在形成MFP时选择和优化深度混合函数，可以实现期望的精度。
在所公开的方法和系统的一些实施例中，可以在接收站点实时形成虚拟立体投影，这使得能够利用立体基线的大多数头部倾斜定向来观看立体内容。可以在多个接收节点处独立地产生变化的差异和基线定向，并且每个节点针对若干用户单独地产生变化的差异和基线定向。另外，一些实施例支持在任何观看定向产生运动视差，从而实现观看的进一步自然性。
根据一些实施例的本文公开的系统和方法可以用于形成用于立体显示器的内容，所述立体显示器包括可穿戴显示器和外部屏幕，并且具有适应不变(齐焦)NED，所述适应不变(齐焦)NED是立体显示器的变体，其在观看正常立体内容的情况下支持自然适应(避免VAC)。在一些实施例中，虚拟差异调整和相关交互也可以被实现在具有自然适应性的新兴MFP显示器中。在用于形成具有大差异的内容的一些实施例中，使用多项式混合函数(或在整个深度范围上对像素进行加权的其它函数)可以在对象边缘上带来更好的质量。
根据一些实施例的在此公开的系统和方法涉及在立体3D(S3D)视频传输系统中和在基于深度图像的渲染(DIBR)的系统中形成立体图像对(立体图)。一些实施例可以使用多焦平面(MFP)内容、MFP能力以及平面的数量和位置。一些实施例可以使用动态用户行为或内容来调整差异。
MFP可以提供聚焦提示，但是许多系统仅使用两个焦平面来实现差异(示出了眼睛之间的折衷图像，其创建立体3D的外观)。许多先前的系统使用较大的MFP堆栈(＞2个平面)不能感知连续的深度(其来自适应和差异)。在许多先前的立体观看系统中，为立体观看提供每只眼睛的单独的MFP堆栈。
图2A是示出了在距用户不同深度处显示的一组示例焦平面的示意图200。图2B示出了示例焦平面图像的图示。通过解决聚散适应会聚(VAC)，一个系统使用多焦平面(MFP)显示器来避免VAC。图2A和2B是从关于MFP显示器的最优渲染的文章改编的图，该文章出自Rahul Narain等人的在多平面显示器上具有焦点提示的图像的最优呈现(OptimalPresentation of Imagery with Focus Cues on Multi-Plane Displays)，34(4)关于图形学的ACM事务(ACM TRANSACTIONS ON GRAPHICS)，59:1-12(2015年8月)(“Narain”)。在图2A中，用户202被示为看着四个呈现平面(例如，焦平面)204、206、208、210。图2B中示出了四个平面204、206、208、210中的每一者的图像212、214、216、218。这样的系统可能不响应于观看者。MFP提供聚焦提示，但是先前仅被用于使用两个焦平面来实现差异(在眼睛之间示出折衷图像，其产生立体3D的外观)。在许多先前的立体观看系统中，为立体观看提供每只眼睛的单独的MFP堆栈。
图3是示出了对于珀西瓦尔的舒适区，左图像和右图像之间的示例图像视差与观察者到屏幕的距离的关系的曲线图。图3是珀西瓦尔的舒适区的曲线图300。该曲线图示出了基于珀西瓦尔的舒适区定理的针对观看者舒适性的左图像和右图像之间的图像差异302与观察者到屏幕的距离304的关系。图3被示出于以下文章：Pan等人的用于偏好和防止不适的3D视频差异缩放(3D Video Disparity Scaling for Preference and Prevention ofDiscomfort)，PROCEEDINGS OF SPIE(SPIE会议录)(2011)(“Pan”)。
图4是示出了用于具有未旋转定向的观看者的立体显示器的示例左眼图像和右眼图像的示意图。图4示出了为如用户所看到的近眼显示器观看者显示的左图像和右图像。图4示出了在观看大前景船后面的小船的过程中的视差情形400。右眼图像404示出了在大船410右侧的小船412比示出了在大船406后面的小船408的顶部的左眼图像406更多。图4右侧的头部图标414指示观看者的原始定向。
图5是示出了用于观看者的立体显示器的以眼镜坐标为界的示例性左眼图像和右眼图像的示意图，其中观看者随着头部水平倾斜而旋转定向。图5示出了随着观看者的旋转而为近眼显示器显示的左图像和右图像。对于图5的场景500，图5右侧的头部图标506示出了站在观看者前方的外侧观察者所看到的观看者的旋转定向。眼镜和近眼显示器从观看者的视角被示出为由观看者佩戴。对于图5，图4中所示的相同图像502、504被示出，而不管旋转的定向。这意味着3D感知保持正确，但是水平线沿着观看者的定向旋转，从而妨碍了在物理世界中的观看。
图6是示出了针对具有旋转定向和未改变差异的观看者的立体显示器的、被调整为满足水平线定向的示例左眼图像和右眼图像的示意图。图6示出了在观看者的旋转与图5所示的旋转相同时为近眼显示器显示的左图像和右图像。对于图6的场景600，与图4的原始定向相同的图像602、604对应于为头部图标606示出的旋转而被旋转，以保持图像水平。左图像602与右图像604之间的差异与图4和图5相同(保持沿着水平基线)。尽管用于该渲染的水平线与真实世界对准，但是3D感知失真，因为所述差异不匹配所旋转的定向。
图7是示出用于操纵图像视差的一组示例界面的系统图。图7是来自Pan的用于操纵图像视差的系统界面图。在捕获时产生立体对的许多系统不支持单独的用户运动(诸如遮挡、可变立体基线和非水平定向)。Pan中描述了具有差异的某种用户定制的一个系统700，其被理解为限于渲染差异的变化。这样的系统700基于用户偏好来调整差异。这种系统被理解为仅提供间距调整。
图8是示出了用于基于DIBR的3D传输系统的一组示例性接口的系统图。图8示出了基于DIBR的3D传输系统800的一种配置的接口示意图，其改编自以下杂志文章：LinweiZhu等人的3D视频系统中的用于视图合成的视图-空间-时间后改进(View-Spatial–TemporalPost-Refinement for View Synthesis in 3D Video Systems)，28信号处理：图像通信(28Signal Processing:Image Communication)1342-1357(2013)(“Zhu”)。
许多基于DBIR的系统使得能够在接收机处作为后处理阶段来形成立体图像，而许多先前的立体视频系统较不灵活。立体差异的量和深度预算可能严重依赖于所捕获的内容，并且在一些情况下，关于差异和深度预算的控制可能在后来比例如拍摄场景期间更有利，但是可能由于例如在制作/前端中固定的参数而变得困难。
在许多DIBR系统中，在接收侧，虚拟视点产生802包括3D扭曲804和孔洞填充806阶段(参见图8中的虚拟视点生成块802)。3D扭曲804用于将两个虚拟视图形成到纹理化深度图，如从观看者的两个眼点所看到的。
图9是示出了一示例场景的示意性平面图，其示出了如果在源相机和目标相机之间改变，则出现去遮挡。通常，相应的透视变化揭示了视图的位于遮挡对象后面的部分。如图9中的示意图900以及图10A和10B中的示例所示，在每个新的透视图像中，去遮挡(或去遮挡区域902)可以表现为间隙或孔洞904，因为所捕获的纹理或深度不包括来自这些区域的信息。在图9中，如果如源相机910和目标相机912以及相应的源图像906和目标图像908的视点线所示，改变从源到目标的视点，则可以产生与近对象914和远对象916相关的去遮挡。
图10A和10B是示出了在孔洞填充之前和之后的示例3D扭曲图像的图示。图10A和10B示出了3D扭曲图像的示例。该示例仅示出了左眼图像。右眼图像以相同的方式形成，并且具有类似的缺陷，但是在对象的右侧。图10A和10B示出了通过3D扭曲产生的去遮挡的示例。原始的单视场图像1000在左边，而3D扭曲图像1050的细节在右边(由于在本申请中使用了黑白线图，所以使用基于线性内插的孔洞填充1052来填充左边图像1000上显示为黑线的空白孔洞1002)。对于一些实施例，一种方法可以包括处理焦平面图像以处置由移位所述焦平面图像而引起的间隙。一些实施例可以滤波一个或多个焦平面图像以处理这样的间隙(例如，处理由移位一个或多个焦平面图像而引起的图像视差)。图10A和10B是从以下演示的幻灯片14修改的线条图版本：Sergey Sukhanov，3D内容制作(3D Content Production)，圣彼得堡电工大学(ST.PETERSBURG ELECTROTECHNICAL UNIVERSITY)(未更新的介绍；从www.slideshare.net/mikhailvink/sergey-a-sukhanov-3d-content-production获得；网站指示在2011年3月12日出版)(最后访问时间为2019年2月26日)。
在孔洞填充中，可以使用各种图像和深度图滤波和修补算法来填充所述孔洞或其它形式的去遮挡。遮挡的类型和数量很大程度上取决于内容，并且失真及其可见性也取决于所述内容。3D扭曲可由计算机图形算法执行。这些算法的复杂度、速度和结果例如根据所使用的视角和相机模型而不同。在Kristoph Fehn，A 3D-TV方法中以下文章中示出了用于移位传感器设置的数学公式的示例：Kristoph Fehn,用基于深度图像的渲染(DIBR)的3DTV方法(A 3D-TV Approach Using Depth-Image-Based Rendering(DIBR)),VIIP会议录‘03(2003年9月)(班纳玛德纳,西班牙)(“Fehn”)。
根据一些实施例的本文公开的系统和方法用于虚拟视点生成(DIBR)，其不同于用于3D扭曲和孔洞填充的先前方法。根据一些实施例的本文公开的系统和方法可以使得能够调节差异和对应的立体深度预算作为后处理，例如，这比一些先前系统中更容易。根据一些实施例的本文公开的系统和方法可以实现支持例如在任意观看定向(诸如，例如，头部倾斜)上的立体观看，例如这比在一些先前设备(许多先前设备仅支持水平观看)中更容易。根据一些实施例的本文公开的系统和方法例如使得能够更容易地形成用于支持(例如，平移和/或轴向)运动视差的虚拟视点。根据一些实施例的本文公开的系统和方法可以具有比一些先前的DIBR系统更多的分布，并且因此具有更少的可见失真。
立体3D(S3D)
立体显示器的使用是显示3D信息的一种方式(其可以被称为立体3D或S3D)。立体观看通过两个相机捕获平行视图(立体对)，所述两个相机分开一小段距离(例如，立体基线)。所述捕获设置模仿由两个人眼进行的双眼图像感知。
最近，立体系统在3D影院、3DTV以及增强和虚拟现实应用(AR和VR)中进行了复原。对于许多AR/VR系统，使用可佩戴的近眼显示器(或眼镜)。
在真实世界空间中，人眼能够通过聚焦和适应不同的距离或深度来自由地扫描和拾取信息。当观看时，眼睛的(会聚)聚散在看到平行方向(例如，在无限远距离处的对象)和看到交叉方向(例如，靠近眼睛的对象)之间变化。通常，会聚和调节通常非常强地耦合，使得在大多数时间，两只眼睛的调节/焦点和会聚点本质上在相同的3D点处相遇。
在许多先前的立体观看系统中，眼睛聚焦在相同的图像(或显示)平面上，而人类视觉系统(HVS)和大脑通过检测图像的差异(例如，两个2D投影中的对应像素的小距离)来形成3D感知。
图11A-11C是示出了许多立体观看系统中的示例性聚散-调节冲突(VAC)的示意性透视图。图11A至11C示出了许多先前立体观看系统中的聚散-调节冲突(VAC)。图11A-11C基于Shibata，Takashi等人，立体显示的视觉不适：聚散-调节冲突的观看距离和方向的影响(Visual Discomfort with Stereo Displays:Effects of Viewing Distance andDirection of Vergence-Accommodation Conflict)，PROCEEDINGS OF THE INT’LSOC.FOR OPTICS AND PHOTONICS(INT’L SOC.的对于光学和光子学的会议录)(SPIE)7863(2011)(78630P1-78630P9)(“Shibata I”)。图11A示出了立体观看，其中聚散点1102与调节点1102相同(当用裸眼观看时这可能是典型的)。图11B和11C示出了利用立体显示器进行观看。图11B和11C示出了使得聚散点1132、1162和调节点1134、1164不同的观察，这导致聚散-调节冲突(VAC)。图11A示出了在聚散距离1106等于相对于观看者1110的焦距1108的真实世界环境1100中的自然观看。图11B示出了在S3D显示上的交叉立体观看1130，其中聚散距离1136相对于观看者1140短于焦距1138。图11C示出了相对于观看者1170，聚散距离1166大于焦距1168的S3D显示器上的非交叉立体观看1160。尽管已知VAC引起视觉疲劳和其它类型的不适，但是由于其便利性和成本效益，立体观测仍然普遍用于近眼显示器。
使用多焦平面(MFP)的3D显示器
对于多焦平面(MFP)系统，观看者能够聚焦在不同的对象和深度，这避免了典型的用于立体显示器的VAC。在不同深度处渲染一堆栈(stack)的自然或虚拟焦平面图像。观察到的焦平面是焦点对准的，而没有观察到的其它焦平面被人类视觉系统模糊。
MFP显示器示出了一堆栈的离散焦平面，其从沿着观察者视轴的层组成3D场景。通过投影焦平面的那些像素，可为观看者提供3D视图，所述像素在不同深度和空间角度处对于观看者的视点是可见的。
多焦平面相对于从视点的观看方向主要是互补的(不是相加的)。然而，当观看从离散焦平面编译的视图时，相加效应可以平滑原本多次感知的量化步长和轮廓。
多焦平面可以通过以下而被显示：例如通过空间复用2D显示的堆栈，或者通过由高速可变焦元件(VFE)以时间复用方式顺序地切换单个2D显示的焦距，同时空间渲染相应多焦点图像帧的可见部分。
图12是示出根据一些实施例的示例性多焦平面(MFP)近眼显示器的示意性平面图。图12示出了多焦平面(MFP)近眼显示器的示意图1200。虚拟焦平面1206的显示堆栈1208中的每个图像1202、1204被渲染在不同的深度，并且观看者的眼睛1210、1212模糊了那些经由目镜1214、1216观察不到的焦平面。以下文章描述了在外部显示器上观看内容：ShiroSuyama等人的从以不同深度显示的亮度调制的两个2-D图像感知的表观3-D图像(Apparent3-D Image Perceived from Luminance-Modulated Two 2-D Images Displayed atDifferent Depths)，44(8)Vision Research(视觉研究)785-793(2004年4月)(“Suyama”)。Suyama描述了当观看两个特殊形成的焦平面时在3D中感知的现象以及由物理原型观察到的结果。该文章描述了MFP显示器的具体情况。
对于MFP显示器，更大数量的焦平面可以具有更好的精度，但是可能具有更困难的实现。对于MFP显示器，焦平面的可行数量可以是小的数量(例如4到6)，这可能限制所实现的质量。以下文章给出了有关焦平面数量的信息：Simon J.Watt等人，多焦平面显示器中的真实世界立体性能：图像平面应当相距多远？(Real-World Stereoscopic Performance inMultiple-Focal-Plane Displays:How Far Apart Should the Image Planes Be？)，SPIE：立体显示器和应用(SPIE:Stereoscopic Displays and Applications)XXIII(2012年2月)。
图13是示出根据一些实施例的近、中和远焦图像平面的示例观察的示意性平面图。图13是在以下文章中描述的原型的左眼和右眼的视线的平面示意图：Simon J.Watt等人,使用多个图像平面在3D显示器中实现近正确聚焦提示(Achieving Near-CorrectFocus Cues in a 3-D Display Using Multiple Image Planes),5666Proceedings ofSPIE(SPIE的5666会议录)393-401(2005)(“Watt 2005”)。图13示出了使用多个MFP 1302、1304、1306用于捕获3D感知的平面示意图1300(由Watt 2005中描述的示例数值改编而来，并且使用该示例数值)。对于图13，每只眼睛1308、1310从稍微不同的视点看到焦平面1302、1304、1306，从而产生3D感知的差异。图13的示例示出了在离观看者的眼睛1308、131053.6cm(1.87D)的距离处的对象的远图像平面1302。在离观看者眼睛1308、1310 39.4cm(2.54D)的距离处的对象的中间图像平面1304。在离观看者的眼睛1308、1310的31.1cm(3.21D)的距离处的对象的近图像平面1306。对于图13的示例，垂直视场为+/-4.4°。
来自焦平面的3D感知对于精确地驻留在那些平面上的平坦对象是正确的。通过使用深度混合，在焦平面之间产生差异，从而在平面之间产生对象的连续且接近真实的深度感知。下面给出MFP渲染中深度混合和差异感知的更多细节。
在以前的MFP原型中，焦平面显示在位于距观看者不同的距离处的外部显示器上。当在近眼显示器上显示MFP时(例如图12)，形成两个MFP堆栈，并且该两个MFP堆栈分别被左眼和右眼看到。
图14是示出由观察者观看的示例焦点图像平面的示意图。图14(其版本包括在Suyama中)示出了观察者1410所看到的两个图像平面1406、1408的顶视图1400和前视图1402、1404，以及观察者1412如何将所述平面感知为3D图像的侧视图1414。在Suyama中，形成两个焦平面1406、1408，它们被放置在不同的距离，并从两个眼点观看。这种设置产生了差异和由从两个视点看的两个焦平面的侧向位移产生的3D感知。所述位移在对象边缘处产生特定的像素值分布，大脑将其分别解释为差异和深度变化。图14示出了通过观看由场景形成的两个重叠焦平面来感知3D图像。两只眼睛从稍微不同的角度看到焦平面，这在焦平面之间产生合成的立体差异。
图15A-15C是示出正方形的示例图像的示例前焦平面和后焦平面的示意图。图15A-15C示出了在对象的边缘处创建的合成立体差异，其中Suyama中包括了这些版本。在Suyama中，在正方形1504、1506的边缘处创建合成立体差异，如图15A-15C所示。在Suyama中，由两个焦平面(诸如图14中所示)组成的示例视图1500由观察者1502通过从左眼点1544捕获左立体图像对1532、1536并从右眼点1546捕获右立体图像对1534、1538到原型显示器(其在图16A-16B中示出)来可视化。图15B是场景的透视图1530。视网膜图像1540具有在每个视网膜图像中看到的公共区域1542。图15C的平面示意图1560示出了从左眼点1562和右眼点1564感知的图像亮度分布。这些亮度分布的差异(参照侧向移位)给出深度的感知。
图16A-16B是示出了为右眼图像和左眼图像显示的示例性焦平面的示意性正视图。图16A-16B(其版本来自Suyama)示出了由两个焦平面组成的图14中的视图的交叉眼睛立体图。图16A示出了右眼图像1600，图16B示出了左眼图像1650。
在Suyama中，通过利用两个线性加权函数对图像(场景的所捕获的投影)的像素进行加权，可通过计算获得所述焦平面的亮度分布，所述两个线性加权函数与像素的距离(深度坐标)及其补数成比例。相应地，支持焦平面的形成的可行的图像捕获格式是纹理加深度。Suyama描述了从两个眼点看到的具有两个焦平面的深度融合或混合效应。
差异可以用于示出深度感知。例如，如果两个焦平面是平坦对象，则从两个眼点看，较近的对象相对于较远的对象稍微移位。Suyama陈述了在两个极端之间的位置感知两个焦平面之间的对象。这种现象是由用于形成两个焦平面内容的深度加权(或深度混合)引起的。深度混合如图15A-15C所示移位所述表观边缘位置，并在两个焦平面之间产生合成但逼真的差异和深度感觉。
图17是示出了利用基于深度的发光度加权函数来观看两个焦平面的示例的示意性平面图。图17是示出从一个眼点1702看到的两个焦平面1704、1706的深度融合原理的平面示意图1700。以下两篇文章描述了如何注意到深度混合效果与仅由一只眼睛单眼观看的两个或更多个焦平面一起工作：Kurt Akeley等人，具有多个焦距的立体显示器原型(AStereo Display Prototype with Multiple Focal Distances)，23(3)ACM TRANSACTIONSON GRAPHICS(关于图形学的ACM事务)(TOG)804-813(2004)(“Akeley”)和X.Hu&H.Hua，深度融合多焦平面显示原型的设计及评估(Design and Assessment of a Depth-FusedMulti-Focal-Plane Display Prototype)，10(4)IEEE/OSA Journal of DisplayTechnology(显示技术杂志)308-316(2014)(“Hu&Hua”)。图17改编自Hu&Hu。在方程1中，Hu&Hu描述了两个焦平面上的两个重叠像素的感知亮度：
L0＝L1(z)+L2(z)＝w1(z)L0+w2(z)L0 方程1其中w1和w2是深度加权的融合函数。在方程2中，融合像素的感知深度可以被认为是两个焦平面1704、1706的深度z1,z2的加权和：
如果单眼观察两个或多个MFP，则该现象自然不是关于如Suyama所述的对边缘进行移位和改变差异(以及深度感知)，而是关于如Akeley所述的当在相邻焦平面之间的过渡附近观察时，平滑所感知的视网膜模糊的突然阶跃。
如Akeley所描述的，已经注意到单目深度混合效应也适用于具有多于两个焦平面的MFP堆栈。在MFP显示器中利用深度融合3D(DFD)现象会导致MFP方法的变型(其在Hu&Hu中被描述，表示为DFD-MFP)，其中焦平面在角度(和x-y)空间中不是严格分开的，而是沿着深度(z)维度具有一些重叠和相加属性。这种现象可以被称为基于深度的滤波或深度混合。
图18是示出根据一些实施例的由左眼和右眼观察三个焦平面的示例的示意性平面图。Suyama描述了一种支持一个(单目)MFP堆栈的双目观察的方法，虽然该MFP堆栈仅由两个焦平面组成。这种想法可以推广到具有多于两个焦平面的MFP显示器。图18将Suyama的观看设置扩展到用于三焦平面显示器的立体观看设置1800，其中，从平均视点1808形成具有三个MFP 1802、1804、1806的单视场堆栈，并且左眼和右眼从稍微不同的视点1810、1812看到相同的焦平面1802、1804、1806。在Suyama之后，研究论文和MFP显示器可能不能精确地指定(或不被理解为指定)所讨论的特定设备是否向查看者显示了一组或两组MFP。
在根据一些实施例的在此描述的示例中，MFP显示器的观看情况是图18中所示的情况，使得使用单目深度加纹理输入形成一个单目MFP堆栈，并且为该MFP堆栈产生两个(立体)视点。然而，在近眼显示器中，仅向一个焦平面堆栈提供正确的视点是困难的，并且可以使用光学器件和反射器来实现眼睛的正确的侧向位置。此外，对于具有不同眼睛间距(对MFP堆栈的不同视角)的人，这种调整自然是不同的。实际上，如同显示并排立体图像的立体近眼显示器一样，一个MFP堆栈需要被分成两个堆栈，每个堆栈用于一只眼睛。与图12中类似，因此从稍微不同的视点，需要用两个平行的MFP堆栈来满足图18和图27B所述的观看条件。这两个MFP堆栈都不同于原始的单视场堆栈，对于原始的单视场堆栈，观察点在眼睛之间(参见图18)。用于形成MFP堆栈的深度混合函数
将所捕获的场景分解成多个焦平面(例如，在各种深度或适应性调节水平的图像层)。使用深度混合或加权函数来形成焦平面，该函数将每个图像像素乘以权重，该权重取决于该图像像素与正形成的焦平面的距离(例如，该距离由深度图像或深度图指示)。混合函数的两个属性是统一分区和深度混合属性。对于统一分区，焦平面亮度加起来为原始场景的亮度。对于深度混合属性，相同的像素可以对多于一个焦平面有贡献。这个属性是混合函数的连续性和重叠的结果。根据一些实施例在此使用或引用的功能是示例性的而非限制性的。
箱式滤波(例如，基于像素深度对图像信息进行切片)是理解深度混合的良好起点。然而，箱式滤波器实际上不是混合函数，因为对于切片结果，每个像素仅贡献于焦平面中的一个。如果使用箱式滤波器，则通过将对应于每个图像的深度图切片成窄深度区域(切片)并将对应的像素投影到每个深度区域中间的(平坦)焦平面中来形成关于焦平面图像的近似。
如果观看焦平面的堆栈，则合成视图由从观看者的视点可见的不同焦平面上的信息形成。利用箱式滤波，对深度区域的切片导致MFP在空间(x-y)方向上彼此完成，而不是沿着深度维度(z维度)累加。相应地，由箱式滤波器生成的焦平面不在焦平面之间产生差异(3D的感知)，而是仅针对焦平面上的对象。
图19是示出根据一些实施例的没有深度混合(加权)的MFP显示器的深度的示例量化的示意性平面图。由于使用箱式滤波器，平滑的3D表面在深度维度上被量化，如图19所示。图19示出了当通过五个焦平面1902、1904、1906、1908、1910描述一视图时，深度量化的示意性示例1900。箭头1912示出了观看方向。
箱式滤波器以严格的方式在空间(x-y)和深度(z)维度上分离图像信息。实际上，仅使用少量的焦平面，深度维度被大量量化，这可能导致在呈现3D形状和深度时的低精度。
在一些实施例中，关于焦平面图像的处理可以包括确定一个或多个所述焦平面图像的深度混合权重。关于焦平面图像的处理还可包括使用所述深度混合权重来调整所述焦平面图像。举例来说，深度维度值可乘以深度混合权重。
基于深度的混合可用于减少深度维度中的量化误差，否则其可为人眼所见。深度混合手段，其使用基于深度的函数来对用于构建每个焦平面的像素进行加权。一个深度混合函数是帐篷式滤波器，它是分段线性的锯齿形混合函数2050(图20B)。对于箱式滤波器，图20A示出了相应的函数2000。
图20A和20B是示出了根据一些实施例的权重对深度的示例的曲线图。图20A和20B示出了用于四个MFP的深度混合函数的示意图。图20A示出了没有混合的深度切片(箱式滤波器)，图20B示出了线性(帐篷式)滤波器。对于一些实施例，深度值的范围在0与255之间(参见图20A和20B中的zmin和zmax)。
图21A是示出根据一些实施例的权重对深度的示例混合函数的曲线图。图21B是示出示例测试图像的图示。图21C是示出了图21B的像素距离的示例深度图。图21D-21F是示出根据一些实施例的使用图21A的深度权重与图21B的测试图像及其图21C的示例深度图的示例焦平面图像的图示。图21B和22B源自于在以下网页上找到的图像：File:2D plusdepth.png,WIKIPEDIA,//commons.wikimedia.org/w/index.php？curid＝5489771(最后访问时间为2019年2月22日)，以及图21D至21F是该图像的修改版本。图21B和图21C中所示的示例未处理测试图像及其深度图相应地仅仅是花的示例一般测试图像，其贯穿本公开多次且用于解释目的。在许多情况下，呈现了根据一些实施例的例如来自对所述测试图像进行的示例过程的示例测试图像的修改版本。对于一些实施例，多项式混合函数在整个深度范围上扩展。图21A示出了三个多项式混合函数2100、2102、2104。图21A和21B-21F示出了测试图像2110(图21B)及其对应的深度图2120(图21C)的三个多项式混合函数2100、2102、2104(图21A)和对应的焦平面(图21D-21F)的示例。
对于一些实施例，可生成深度图(例如，图21C)，其可类似于图19中由平滑细线1914所示的。所述深度图用于将输入图像分离成例如离观看者的小、中和大焦平面距离。深度混合函数(例如，图21A)用于生成特定焦平面距离的焦平面图像。可以对每个焦平面图像重复该过程(例如，图21D至21F)。对于一些实施例，深度图(参见图21C)可通过若干方法来生成，这其中包括离焦点的深度、离一个或多个RGB图像的深度、以及离RGB-D传感器(使用结构化光或ToF)的深度。将理解，存在获取深度图像的各种已知方式。
图22A是示出根据一些实施例的权重对深度的示例混合函数的曲线图。图22B是示出示例测试图像的图示。图22C是示出了图22B的像素距离的示例深度图。图22D-22F是示出根据一些实施例的使用图22A的深度权重与图22B的测试图像及其图22C的示例深度图的示例焦平面图像的图示。图22B及其示例深度图22C源自在以下网页上找到的图像：File:2Dplus depth.png,WIKIPEDIA,//commons.wikimedia.org/w/index.php？curid＝5489771(最后访问时间为2019年2月22日)，以及图22D至22F是该图像的修改版本。图22A示出了三个正弦混合函数的权重。图22A示出了三个正弦函数2200,2202,2204的示例，其产生用于测试图案图像2210(图22B)及其深度图2220(图22C)的三个MFP 2230、2240、2250(图22D-22F)。Hu&Hua建议了混合滤波器的其它变型。
如Suyama所解释的，深度混合或融合是增加焦平面的表观数量并因此增加深度准确度的一种方式。Akeley将该合成差异发现扩展到具有多于两个焦平面的情况，从而从实际MFP显示器实现所允许的那些深度平面增加了深度平面的有效数量。Akeley还报道了当用一只眼睛观察MFP堆栈单目镜时深度混合的好处。根据Akeley，深度混合滤波了在稀疏焦平面之间的过渡处由一只眼睛感知的焦距的步进变化。
Suyama中描述了两个焦平面之间的合成差异(深度)的创建和感知。在Akeley和Watt 2005中描述了在多于两个焦平面之间产生深度感知。在Akeley中描述了对焦平面之间的逐步适应性改变的滤波。Hu&Hu中描述了关于深度混合函数的变化。
可穿戴眼镜类型的近眼显示器(NED)在虚拟现实和游戏中以及最近还在增强现实中变得流行。使用移动电话作为显示元件的眼镜是用于观看虚拟或相机捕获的视频的流行的低成本设备的示例。许多近眼显示器(NED)呈现立体图像对的序列。立体渲染可与外部显示器一起使用，这其中包括用于立体3D(S3D)TV的那些显示器。
捕获立体视频(立体图像对的序列)可能引起各种限制。捕获和发送立体内容可以防止例如在内容产生中以及在接收机处渲染或观看内容时作为后处理而调整差异和其他重要的S3D参数。
捕获和传输中的视频加深度(深度加纹理)格式被用于基于深度图像的渲染(DIBR)中。在该领域中已经进行了大量研究，集中于优化接收机处的渲染质量，更具体地说，集中于消除当从两个虚拟视点产生立体视图时在DIBR系统中引起的去遮挡。
MFP显示器基于多个焦平面的3D感知，其可以使用深度加纹理格式来形成。许多MFP能够避免VAC，该VAC可能发生在立体显示器中。由于技术原因，在MFP显示器中，焦平面的最大数量通常仅限于几个。如果使用几个焦平面，则可以通过深度混合来提高渲染质量，但是焦平面的数量仍然可能对MFP渲染质量造成限制。
用于DIBR和MFP这两者的许多现有系统缺乏对基于用户运动的交互的支持，从而需要调整视点，以改变立体差异或运动视差。对于许多基于DIBR的系统，一个原因是在虚拟视点生成中使用的方法的计算复杂度(例如，3D扭曲和孔洞填充)。
一些实施例在图像捕获和传输中使用深度加纹理内容格式。视点生成的一些实施例不同于在先前的基于深度图像的渲染(DIBR)方法中使用的3D扭曲和孔洞填充方法。在一些实施例中，使用深度和纹理数据在接收机中形成多焦平面(MFP)。通过使用在任何基线定向上形成的MFP并且单独地针对多个接收机，可实时产生具有一组属性并且支持运动视差的立体内容。
示例性过程和结构
一种基于MFP的方法可为基于DIBR的系统产生立体视点。示例方法生成虚拟视点以使得用户能够改变他/她的头部倾斜和观看位置。此外，向用户提供自然的运动视差以及针对立体视觉的个人调整，这是通过用于创建立体差异的示例方法实现的。为了产生符合用户的姿势和运动的差异，跟踪用户的运动(例如，通过一个或多个头戴式或外部传感器进行跟踪)。
一些实施例使得能够为可穿戴和外部显示器这两者产生立体内容和基于差异的交互。根据一些实施例的在此描述的示例实现和交互方式也可以与MFP显示器一起使用。一些实施例在捕获和传输中使用深度加纹理类型的内容格式，并且在接收机中使用由其形成的多焦平面(MFP)。在一些实施例中，使用一次接收的数据，可以在任何基线定向中并且针对多个本地观看者单独地实时形成具有一组属性的立体内容。可以以几种方式形成MFP，根据一些实施例，在此公开了其示例。
图23A-23C是示出根据一些实施例的立体图像差异的示例场景的示意性正视图。图23A-23C示出了三个(双目)视点，用于用户观看立体内容。图23A是示出了在躺下时使用看到深度效果的示例2300。图23B是示出了被调节得更宽的深度效果的示例2330。图23C是视点跟随用户运动的示例2360。用户从不同的定向和变化的立体差异量看到内容。可以使用例如可穿戴或外部显示器来观看所述内容。在一些实施例中，3D感知是基于用户从两个眼睛视点观看多个焦平面的单目堆栈的近似(例如，虚拟)差异的。
许多立体360°视频系统仅响应于定向变化而不响应于用户视差运动。许多先前的系统使用定向(纯定向改变)来控制360°视频。头部旋转也给出眼睛位置的平移。避免VAC可提供例如从固定位置的舒适立体观看。
在一些实施例中，通过移位和添加MFP来进行用于形成立体图像的虚拟视点生成。立体显示器可用于观看结果，这其中包括近眼和外部S3D屏幕。如果使用时分复用S3D显示器，则用户佩戴的快门眼镜可配备有用于跟踪用户运动的传感器，以便支持运动视差效应。为了避免与立体显示器相关的VAC，立体显示器可以例如由支持自然适应的显示器代替。
对于一些实施例，一种方法可包括：接收三维视频内容；使用所述三维视频内容，针对多焦平面的数量及位置，计算一个或多个多焦平面MFP图像；测量运动跟踪传感器的运动跟踪传感器读数；从所述运动跟踪传感器读数，生成观看者定向信号；使用所述一个或多个MFP图像和所述观看者定向信号，计算快门式眼镜显示器的每个视图的一个或多个差异图像(例如，被偏斜了由视差向量指示的量、投影并汇总到视点的MFP堆栈)；以及将所述一个或多个差异图像渲染到所述快门眼镜显示器。
对于一些实施例，一种设备可包括：一个或多个运动跟踪传感器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行以下过程：接收三维视频内容；使用所述三维视频内容，针对多焦平面的数量及位置，计算一个或多个多焦平面MFP图像；测量运动跟踪传感器(例如，一个或多个运动跟踪传感器)的运动跟踪传感器读数；从所述运动跟踪传感器读数，生成观看者定向信号；使用所述一个或多个MFP图像和所述观看者方向信号，计算快门式眼镜显示器的每个视图的一个或多个差异图像；以及将所述一个或多个差异图像渲染到所述快门眼镜显示器。例如，在一些实施例中，测量观看者相对于真实世界环境的位置的运动跟踪传感器读数可包括例如测量观看者相对于物理静止点的位置的运动跟踪传感器读数。
根据用户运动改变差异
图24A-24C是示出根据一些实施例的关于观看者定向方向的图像差异的示例场景的示意性正视图。立体差异调整可以由于用户运动和运动相关的交互而进行。图24A-24C示出了由一些实施例支持的用户运动引起的差异相关视点改变。如图24A-24C所示，可以调整所述合成差异的量(例如，长度、高度或宽度)2400(图24A)、定向(例如，方向)2430(图24B)和位置(例如，侧向平移)2460(运动视差)(图24C)，或者例如这些用户运动的任意组合。可以基于来自用户的眼睛佩戴的跟踪数据或者基于他/她的手动输入(指示例如对于差异量的个人偏好)来调整差异(头部倾斜量和侧向平移量)。图24A-24C中所示的三个差异相关交互可以例如以任何顺序发生并且可以形成连续序列。
图24A-24C示出了由一些实施例产生的差异，其通过双极向量2402、2404、2432、2434、2462、2464来表达，其量(例如，长度、高度或宽度)、定向和相对于原点的位置(用于支持运动视差效果)可以被调整。旧的差异值由虚线箭头2402、2432、2462示出，而新的差异值由实线箭头2404、2434、2464示出。
立体图像对(针对左眼和右眼)的差异可以由指向两个相反方向的向量元组(“双极向量”)沿着眼睛之间的基线来呈现。所述差异量由所述两个向量的差的大小给出(图24A)。头部倾斜由(一个或多个)差异向量和水平线(或平行于水平线的向量)之间的角度来指示(图24B)。运动视差(例如，瞬时移位的视点)可以由所述两个向量的不对称性来表示，视点由它们的平均值来表示(图24C)。
通过缩放所述差异向量(乘以标量)来调整所述差异量，通过旋转所述向量(或例如，通过修改旋转量的数值表达式)来调整所述方向，且通过对所述向量的平行移位来进行平移。代替在系统组件之间(在眼镜与系统终端之间)递送所捕获的用户运动作为运动向量，组件接口可基于在基于所捕获的用户运动而修改差异向量之后，发射所述差异向量。
对于一些实施例，焦平面图像的移位可包括：缩放相应焦平面图像的差异向量(或例如通过修改移位所导致的差异调整量的数值表示)。例如，可以如图24A所示执行所述缩放，以便加宽(或收缩)水平(或垂直)维度。对于一些实施例，焦平面图像的移位可以包括平移所述相应的焦平面图像。例如，平移焦平面图像可包括旋转焦平面图像或将焦平面图像相对于固定原点水平(或垂直)移动一偏移量。
图25是示出根据一些实施例的用于生成左眼和右眼移位和投影的MFP的一组示例处理块和接口的系统图。根据一些实施例，所公开的示例方法是DIBR中的虚拟视点生成阶段的新示例实现。DIBR是参考图8所示的虚拟视点产生阶段(从Zhu修改而来)在上面讨论的。在图25中，示出了根据一些实施例的示例性基于DIBR的实现的框图2500。深度图的预处理2506可包含对深度图2502的滤波操作。一种操作是平滑所述深度图2502，以便减少孔洞或最大创建的差异(例如，为了观看舒适)，如在以下文章中所描述的：Xuyuan Xu等人的用于DIBR视图合成的深度图未对准校正和扩张(Depth Map Misalignment Correction andDilation for DIBR View Synthesis)，28信号处理：图像通信(28Signal Processing:Image Communication)1023-1045(2013)。
用于生成MFP 2508的一些实施例可以使用混合函数来为每个MFP产生权重图(重新映射的深度图)，并且通过将所捕获的(纹理2504)图像与所形成的权重图中的每一者相乘来形成所述MFP。一些实施例可以在移位和投影MFP 2512之前，后处理MFP 2510。对于一些实施例，如果MFP因大的视点变化或差异而移位，则可以使用滤波来减少孔洞。对于一些实施例，MFP可以作为输入而被接收。在一些实施例中，MFP 2510的后处理可以包括形成MFP(例如，通过重新分布而形成)。
根据一些实施例的基于DIBR的方法可以包括孔洞填充和其他修补方法，以减少3D扭曲图像中的去遮挡伪像。在一些公开的实施例中，焦平面的移位可以产生与结果类似的失真，并且在通过深度混合形成MFP之后，可以对MFP使用类似的处理(例如，深度或空间维度中的修补)。将MFP 2512移位和投影到立体图像2516、2518中可以用于满足期望的立体差异(或深度预算)。可以沿着任何选择的基线定向2514(例如，不只是水平的)进行MFP的移位，以支持任意的头倾斜(来自NED中的IMU(惯性测量单元)等的数据)。此外，可以基于用户的头部运动来支持运动视差。
注意，形成一组MFP可以服务于针对一个或多个本地观看者的各种基线定向、差异量和合成运动视差(例如，基于显示具有变化视点的一系列立体图)。曾经导出的MFP堆栈可以服务于所有提到的情况。移位的方向和量以及结果被渲染到的显示器(或例如人)均是变化的。
图26是示出根据一些实施例的用于针对观看者定向的三种场景，生成左眼和右眼移位和投影的MFP的一组示例处理块和接口的系统图。图26示出了过程2600，其中所产生的MFP堆栈可用于具有(例如)不同差异、定向和运动视差的若干本地观看者2602、2604、2606。例如，接收终端2628可以接收深度图2630并预处理该深度图2626。纹理2632可由接收终端2628接收以使用所述经预处理的深度图输出来生成MFP 2624。一些实施例可以后处理MFP2622。对于每个观看者2602、2604、2606的左视图和右视图，MFP可以被移位和投影2616、2618、2620。头部姿势和移动数据(具有IMU等的NED)2608、2610、2612可由复用器和无线接入点2614接收。运动数据可用于移动和投影MFP 2616、2618、2620。
一些实施例可利用若干交互功能性而单独地为每个站点的多个人服务。注意，代替从眼镜向接收终端发送运动数据(参见图26中的“头部姿态和移动”块)，在一些实施例中，所述数据可以是从运动数据导出的差异向量或者作为手动输入给出的差异向量(例如，用于设置优选差异)。
一些实施例通过使用MFP显示器来结合差异调整，以在从偏移位置观看单个MFP堆栈时，产生视觉上自然的差异。一些实施例通过从观看者到TV/HMD渲染器的反馈来并入差异调整，以产生差异调整后的图像。可以利用基于眼镜的TV和利用360°视频HMD客户端来处理定向改变。
对于一些实施例，定向一个或多个焦平面图像可以包括：移位相应的焦平面图像。可执行此移位以处置运动视差，例如，如图26中所示。
从焦平面形成立体对
图27A-27D是示出根据一些实施例的在不同观看者定向下观看的示例焦平面的示意性平面图。除了形成MFP的堆栈之外，从所述焦平面形成立体图像对(立体图)。MFP的单目堆栈(图27A)放置在离观看者的(平均)视点2702期望的距离处，并由两只眼睛2722观看(图27B)。
图27A显示了通过深度混合形成的单目MFP堆栈的平面图2700。图27B示出了用于用两只眼睛2722观看MFP堆栈的平面图2720。图27C示出了用于利用左眼2742观看所述焦平面的平面图示2740，对于该平面图示，所述焦平面看起来已经向右移位。图27D示出了用于利用右眼2762观看所述焦平面的平面图示2760，对于该平面图示，所述焦平面看起来已经向左移位。相应地，可以通过在特定方向上将MFP移位特定量，从用于立体(或立体MFP)观看的单目MFP堆栈合成两个(立体)MFP堆栈。MFP的移位可以是用于虚拟视点变化的更复杂变换的近似(参见DIBR系统中的3D扭曲)。
在图27C和27D中，左眼和右眼从稍微不同的视点观看所述堆栈。图27C和27D中的焦平面的明显侧向移位线性地取决于所述焦平面的距离。如果从两只眼睛在相同位置(远离眼睛)看到了最远平面，则中间平面被向侧面移位“一个单元”，并且最近平面被向侧面移位“两个单元”。
对于一些实施例，通过将所述侧向移位的焦平面投影到每个视点来折叠它们。为了投影，所述焦平面上的对应像素可以沿着深度轴而被汇总。这通常可以导致具有不同立体差异或视差的两个图像的立体图像对。如果从单视场MFP堆栈开始，则可以将所述差异解释为有些人为或合成。
使用MFP形成的立体图的示例
图28A是示出示例测试图像的图示。图28B-28D是示出根据一些实施例的使用图28A的测试图像的示例性加权焦平面图像的图示。图28A源自于在以下网页上找到的图像：File:2D plus depth.png,WIKIPEDIA,//commons.wikimedia.org/w/index.php？curid＝5489771(最后访问时间为2019年2月22日)，以及图28B至28D是该图像的修改版本。一些实施例可以使用一组示例的三个焦平面来说明，所述三个焦平面是使用多项式混合函数形成的(例如，图21A)。图28B-28D示出了使用多项式混合函数分解成三个MFP 2810、2820、2830的示例测试图像2800(图28A)。交叉的眼睛立体图用于说明MFP堆栈和立体对的质量。图29A和29B示出了使用图28B-28D中所示的MFP 2810、2820、2830形成的立体图像对2900、2950(相应地，用于右眼和左眼)。
图29A和29B是示出了根据一些实施例的相应地使用图28B-28D的焦平面图像形成的示例右眼图像和左眼图像的图示。图29A和29B是使用3个MFP形成的交叉的眼立体图的示例。总的差异对应于图像宽度的2.76％(参照对于图28A的特定测试图像，MFP被移位了多达6个像素)。像素的移位量取决于所使用的测试图像的分辨率。与许多MFP显示器不同，在许多MFP显示器中，渲染精度受到焦平面的数量的限制，对于一些实施例，MFP的精度和数量不以相同的方式受到限制。可以利用比用于形成图29A和29B的三个焦平面的示例更多数量的焦平面来执行用于立体图像的MFP的形成、移位和汇总。
在产生立体内容时应用焦平面
如在形成立体内容时，可以选择不同的调节距离用于零视差设置(ZPS)。在真实世界中，ZPS平面在无穷远处(远离观看者的视点)。在这样的设置中，所产生的差异在最远平面的前面(通常被解释为负差异，尽管符号约定可以颠倒)。在许多情况下，由于各种原因，对于ZPS使用较近距离可能更有利。对于许多立体显示器，屏幕使用更近的距离。
图30A-30C是示出根据一些实施例的在不同眼睛间距下观察的示例性焦平面的示意性平面图。图30A-30C示出了三个平面示意图3000、3030、3060，其示出了调整立体基线(例如，眼睛间距或瞳孔间距离(IPD))的长度3002、3032、3062可以减少上/下重叠焦平面的边缘效应。在图30A-30C中，总的差异(例如，立体深度的量和MFP的位置)和渲染距离保持相同。在图30A-30C中，对于具有相应减小的瞳孔间距离(IPD)/目间距(IOD)的三个不同观看者来说，这是正确的。实际上，参考图30A-30C，IOD的各个变化可以以与选择ZPS位置到后面(例如，图30A)、中间(例如，图30B)或前面(例如，图30C)相同的方式影响感知深度。
图30A-30C中所示的目间距调节对应于为所述内容选择会聚点/焦平面(例如，也称为零视差设置ZPS)。ZPS处的焦平面将总差异范围(例如，深度预算)划分为负(近)差异和正(远)差异。在图30A中，所有内容似乎都在屏幕前面(由于所有负差异3004、3006)。在图30B中，内容看起来在屏幕的两侧(由于负差异3034和正差异3064)。在图30C中，内容看起来在场景后面(由于仅具有正差异3064、3066)。注意，ZPS不影响感知深度范围或差异范围本身。
对于用于最小化由MFP仅部分覆盖在焦平面边缘上所引起的影响的一些实施例，相对于最中间的平面(图30B)进行焦平面的对准是有益的。通过深度混合，对于图像区域和焦平面之间的对象，焦平面及其立体投影可产生连续深度感知。
MFP的数量是可以影响感知质量的参数。对于合成立体，焦平面的数量即不受显示属性(诸如透明度和复用速度)的限制。在一些实施例中，可以选择焦平面的数量，例如，足够高以满足任何期望的深度精度。计算复杂度随着焦平面的数量而线性增加，但是对于相对高数量的MFP可能不是问题。
出于相同的原因，对于焦平面位置的优化可能存在较少的益处。由于利用规则的焦平面距离来移位左眼和右眼的焦平面更容易(例如，可以在没有子像素操作的情况下执行)，所以可以使用相等的位移距离(例如，间隔)。代替通过屈光间距来优化位置，可以增加具有规则间隔的MFP的数量。由于最中心平面是一对准/枢转位置，所以可以使用奇数个焦平面。
所捕获场景的深度图可以是相对的和归一化的。深度范围可以是相对于真实世界坐标的或解锁于真实世界坐标的，并且可以是系统变量。在一些实施例中，场景的立体深度可由在(伪)立体图像对的形成中使用的侧向移位量来确定。
较大数量的MFP可以与产生较大合成差异和立体深度的能力相关。这个过程也取决于图像内容。对于仅具有几个具有大深度分离的对象的场景，在大深度范围上的深度混合可以是有益的，而不是在更紧凑的范围上进行混合。
形成合成立体对
通过对从焦平面到每只眼睛的投影进行汇总，可从所述MFP形成立体图像对。该过程产生立体对，其可以用立体眼镜进行观看(从而引起VAC)，或者用立体眼镜的MFP版本进行观看(其能够避免VAC)。这样形成的立体图中的最大差异或视差与针对立体内容观察到的相同。这种来自Fehn的推荐最大视差也称为深度范围或(立体)预算，其取决于所述内容，但是在图像宽度的3％的量级。在该限制之后，立体效果趋于打破，这意味着立体内容的(主观)质量降低，如Fehn所述。
例如，在图13中，最大视差/差异大约是2.5％，低于Fehn的推荐最大值3％。图13示出了立体观看的相应最大视场相对较小，大约20度水平(与没有头部运动的旋转眼睛的大约70度相比)。在垂直维度上，在没有头部旋转的情况下，最大视场高达55度。在垂直方向上，立体(或任何其它)显示器小于眼睛所实现的。
根据来源，对于深度预算的分配、立体显示屏幕前后的深度之间的划分(负视差与正视差之间)，给出不同的推荐。除了内容本身之外，这种分配可能受屏幕尺寸的影响，并且根据源而变化。
根据Shibata等人的舒适区：预测立体显示器的视觉不适(The Zone of Comfort:Predicting Visual Discomfort with Stereo Displays)，11(8):11J.OF VISION 1-29(2011)(“Shibata II”)，交叉差异(对于比屏幕更近的对象)不应超过屏幕宽度的2-3％，并且未交叉差异(对于比屏幕更远的对象)不应超过屏幕宽度的1-2％。
在一些实施例中，可以应用和补偿限制或例如建议，例如由Fehn和Shibata II标识的那些限制或建议，作为设计考虑。
具有大差异的示例
下面，给出了具有正弦和多项式混合函数的其它示例。为了易于看到印刷品的变形，对于这些实施例，选择4.6％的大的总差异，其比Fehn中推荐的最大值3％大得多。图31A-31F中说明了该效果。
图31A是示出根据一些实施例的利用正弦深度加权形成的右眼的示例立体图像的放大摘录的图示。图31B-31C是示出根据一些实施例的相应地以正弦深度加权形成的右眼和左眼的示例立体图像的图示。图31D是示出根据一些实施例的利用多项式深度加权形成的右眼的示例立体图像的放大摘录的图示。图31E-31F是示出根据一些实施例的相应地用多项式深度加权形成的示例右眼图像和左眼图像的图示。图31B-31C和31E-31F是根据一些实施例的修改的例如图21B的未处理的花测试图像的版本，其通过使用其深度图(图21C)处理该测试图像而被修改。图31B-31C和31E-31F表示具有大的合成差异(±2.3％)的交叉眼睛立体图的比较，该立体图是通过对三个MFP进行移位和汇总而产生的，该MFP是使用正弦和多项式混合函数形成的(相应地，参见图31B和图31C的上立体图3110、3120，以及图31E和图31F的下立体图3140、3150)。左边的插图3100和3130(图31A和31D)示出了使用两种方法的相应右眼图像3110、3140的细节。插图示出了多项式函数对对象边缘的益处，减少了由大差异产生的去遮挡。优点可以来自于通过多项式函数比正弦函数的更强的深度混合。
利用多项式函数，背景图像细节稍微更加模糊。这是由较强的空间滤波效应引起的，当移位的焦平面分量被相加以形成两个最终视点时，该空间滤波效应对结果进行滤波。在大差异的情况下，多项式混合函数对对象边缘有益。该益处来自深度方向上较强混合的修补效果，这减少了由大差异产生的可见去遮挡。
支持自由基线立体
可以利用立体VR眼镜观看图像、视频和虚拟内容。这些服务可能能够仅在水平维度上提供立体差异(如果以头部直立的方式观看)。为了不干扰观看者对他/她的姿势和平衡的感知，所观看的内容的视野通常被锁定到观看者的真实视野。这是通过观看设备(例如“纸板”VR眼镜中的移动电话)中的位置传感器感测用户的头部倾斜来实现的。
在先前的系统中，尽管根据用户的头部倾斜来调平内容，但是内容差异通常不遵循用户的头部倾斜，而是水平的，尽管头部定向。随着头部倾斜的增加，基于水平差异的3D感知会失真、减弱或甚至丧失。根据一些实施例的本文公开的系统和方法可以用于提供独立于头部定向的立体内容。可以根据观看者的测量的头部倾斜，在接收端实时形成立体(伪)差异。对于一些实施例，如果观看者定向信号指示了所述观看者的倾斜，则可以计算使用与观看者的所指示的倾斜相对应的旋转差异向量的差异图像。
图32A-32C是图示了根据一些实施例的具有不同用户定向的第一立体显示器的示例差异的示意性前视图。图32D-32F是图示根据一些实施例的具有不同用户定向的第二立体显示器的示例差异的示意性前视图。图32A-32F示出了根据一些实施例的先前系统和本文所公开的系统之间的一些差别。在图32A-32F中，立体图像对3200、3210、3220、3230、3240、3250被描绘为它们通过使用移动电话作为显示器的VR眼镜而被示出。优化图像几何形状以便在靠近眼睛的平板显示器上观看可产生具有特征枕形形状的立体图像。
图32A-32F示出了用于在近眼显示器(例如，移动电话)上示出立体内容的两种方法。图32A-32C示出了所述内容沿着观看者的头部姿势而被倾斜，这导致了真实世界水平线与所示出的之间的冲突。这种冲突可能导致模拟者晕动和定向障碍。图32D-32F示出对于某些实施例，用于通过跟踪用户的头部姿势来将内容的视野与现实世界视野对准的方法。该系统的缺点是立体对的基线未对准，并且导致错误的或丢失的深度感知。
图33A-33C是示出根据一些实施例的具有不同用户定向的立体显示器的示例差异的示意性前视图。在一些实施例中，诸如图33A-33C所示，具有正确基线和差异的立体对3300、3330、3360可在用户头部姿势改变之后实时形成。所支持的交互还可以包括运动视差。注意，在虚拟视点生成中，捕获所述头部倾斜和运动(参见图25和26)以相应地改变所述差异。
图34是示出根据一些实施例的用于具有旋转定向的观看者的立体显示器的示例左眼图像和右眼图像的示意性用户视图。图34是为近眼显示器观看者显示的左图像和右图像的正视图。图34右侧的头部图标3414显示了观看者的定向的旋转。图34左侧的眼镜是从观看者佩戴时的观看者的角度示出的。在观看者的头部旋转之后，从上方较高处看到右眼图像3404，并且从下方看到左眼图像3402。对于图34的场景3400，图5中所示的相同图像的原始定向被旋转，以保持图像水平。所述左图像和右图像之间的差异被改变为所旋转的定向(图5中所示的小船的位置对于图34被改变，以示出垂直和水平差异的变化，使得与图5相比，对于左眼图像3402，小船3408更靠近大船3406，而与图5相比，对于右眼图像3404，小船3412更远离大船3410)。
对于一些实施例，定向一个或多个焦平面图像可包括：旋转相应的焦平面图像。例如，一个或多个焦平面图像可被旋转以示出如图34所示的左眼图像3402和右眼图像3404的图像，对于一些实施例，旋转所述焦平面图像可包括：相对于平行于水平线的向量，旋转所述焦平面图像中的一者或多者的差异向量。
支持运动视差
在任何基线定向(例如，头部倾斜)处，基于合成差异的焦平面移位也可用于支持左眼和右眼的少量运动视差。该实施例使用大量的焦平面，并且差异的跨度可以扩展得如此大，以致可以在该范围内支持各种头部位置(运动视差)。
图35是示出根据一些实施例的用于通过使一组焦平面图像左右偏斜来为视图产生多个视点的示例过程的示意性处理图。图35示出了根据一些实施例的例如图21B的未处理的花图像的各种修改版本，其使用了例如图21C的深度图。在图35的示例中，使用了五个(例如正弦)MFP和12个单元的最大视差/侧向移位(对于任一眼睛)。在3516，在所选择的差异/视差范围上，形成具有七个帧3502、3504、3506、3508、3510、3512、3514的多视图图像。通过首先使MFP堆栈偏斜到一变化的程度，然后通过向观看者投影MFP并对其汇总，形成了帧3502-3514中的每一者。此外，将原始零差异图像取入该系列中。所述多视图图像包含一系列交叉的眼睛立体图，右眼的视点在左侧，反之亦然。在图35的多视图系列中，通过每隔一帧进行选取，可以形成五个立体图对3502/3506、3504/3508、3506/3510、3508/3512、3510/3514，它们相差8个视差/侧移单元。相应地，可以在五个位置上支持线性变化的立体视差(具有8个单元的立体差异)。图35展示了用于使用合成差异来形成多视图图像的示例3500。每只眼睛的最大差异范围(例如，所述5MFP堆栈的最大侧向移位范围)是12个单元(±2.75％的测试图像宽度)。例如，MFP堆栈可以向右3518偏斜(或者，例如，MFP向右移位)，而MFP堆栈可以向左3520偏斜(或者，例如，MFP向左移位)。MPF的堆栈被偏斜(或者，例如，MFP被移位)不同的量。结果是取决于移动方向而向左或向右倾斜的MFP的堆栈。
将所述多视图图像分割为立体对，可以更便于从印刷物感知视差效果。可以通过使用以下中的任一者来进行运动视差效果与感知立体差异(深度)之间的折衷：1)6个位置中的两个相邻图像(总差异0.46％；正差异和负差异都是0.23％)，2)在5个位置中的每隔一个图像(总差异0.92％)，3)在4个位置中的每隔二个图像(总差异1.38％)，4)在3个位置中的每隔三个图像(总差异1.84％)，或在两个位置中的每隔四个图像(总差异2.3％)。具有两个末端图像的立体对可提供2.76％的总最大差异，而没有运动视差。
图36是示出根据一些实施例的用于使用图35的偏斜的图像(它们中的每一个是一MFP堆栈，其首先以变化的程度被偏斜、然后朝向观看者投影和汇总)的立体显示器的示例系列的三个立体图像的图示。图36示出了通过每隔一个图像拾取而形成的来自上述系列的三个样本3602/3604、3606/3608、3610/3612(具有0.92％差异的交叉眼睛立体对)。从印刷品感知运动视差效应(总共3.7％)可能是稍微有挑战性的，但是当使用图35中的多视图图像形成动画时是清楚的。图36示出了使用图35所示的多视图图像形成的具有运动视差(视点从左向右移动)的三个立体视图3602/3604、3606/3608、3610/3612的示例3600。图36示出了视点从左到右改变的三个(交叉眼睛)立体图3602/3604、3606/3608、3610/3612(参见图35)。由阵列连接的图像是相同的。
可以估计图36的示例中的运动视差量。立体内容的两个视点由眼睛间隔分开，通常大约60mm。相应地，图36中所示的虚拟视图允许用户在两个极端之间移动他/她的头部12cm。然而，与在更真实的条件下观察效果相比，将结果看作小的交叉眼睛立体图可能会扭曲效果。所述头部倾斜和运动视差支持可以单独地提供给多个本地观看者，因为对于一次性发送(广播)内容，可以在接收机中多次进行MFP的形成和处理。
对于合成运动视差，不是利用对称左移和右移版本形成立体对，而是例如通过具有不同移位量的两个左移版本形成立体对。然而，这似乎不会引起感知运动视差效应的任何显著的降级。另一个相关细节是原始的未移位的纹理图像(对对象边缘的任一侧没有任何影响)也可以用作多视图图像序列的一部分。
尽管选择焦点或ZPS(参见图30A-30C及其解释)不影响从立体图像感知的深度范围(参见总差异)，但是当创建合成运动视差时，存在来自所述选择的小结果。当焦点在中间时(例如，如对于本公开中的示例通常选择的)，侧向移动的观看者即感知到围绕枢轴点(在距离ZPS处)旋转的渲染体积。然而，运动视差的更自然之处在于体积围绕其最远点旋转。对于一些实施例，如果形成运动视差效果，则远平面(以及在远平面前面的所有差异)可以在虚拟视点生成中被使用。
用于形成MFP的可应用源格式
视频加深度图是根据一些实施例的所公开的方法的适用格式，其给出图像中的每个像素的距离。当由于视点的改变而显露视图的遮挡区域时，使用3D扭曲或基于MFP的设计从这种格式解析立体视图可能在对象边缘引起一些错误。一个示例实施例是具有深度图的立体视频。上述两种格式都由视频压缩方法(例如，H.264MVC)支持。
存在用于生成深度图像的多个过程。根据一些实施例的一种方法是导出两个相机视图(立体对)的差异，并将该差异映射到深度。与连接两个相机点的线(基线)平行地进行图像像素之间的对应(correspondence)的查找。找到真正的对应是容易出错的过程，具有潜在的假肯定对应和差异。各种类型的滤波和分割操作可以用于消除误差。
一些实施例使用由深度传感器捕获的深度加纹理的源格式(诸如RGB-D或ToF(飞行时间))。深度信息可以在传输之前被压缩。这使用比用于立体视点或对应深度图的虚拟(3D建模)场景的实时传输更小的比特率。使用外部显示器的示例实施例
图37为示出根据一些实施例的用于针对三个观察者定向而生成柔性基线立体显示器的偏移和投影的MFP图像的一组示例处理块和界面的系统图。对于一些实施例，所述柔性基线立体显示器可例如是柔性视图(Flexi-View)TV。尽管用于描述一些实施例的上下文主要是近眼显示器，但是根据一些实施例，还可以使用例如外部显示器来实现相同的交互。如果例如用于时间复用的S3D显示器，则用户佩戴的快门眼镜可配备有传感器，用于跟踪用户运动和用于从眼镜3718接收数据以及用于将数据发送到眼镜3720。外部跟踪可用于一些实施例。通过跟踪三个用户3722、3724、3726的示例的用户姿势和运动，根据一些实施例的本文公开的系统和方法(包括虚拟差异相关功能)可以使用外部显示器。多用户视图(其可以用时分复用3716来实现)可以用于为多个位于同一位置的观看者提供服务。图37示出了使用外部显示器和两个示例方法3712、3714的一些实施例，用于在接收站点3706处在接收机3708中的虚拟视点生成3710，用于深度图3702和纹理3704的输入。虽然在图37中将技术示为是备选(“或”)，但是在一些实施例中，可以使用这些技术的任何组合。
使用基于DIBR的方式用于视点生成的示例实施例
用于通过MFP生成虚拟视点的一些实施例可以与基于3D扭曲和孔洞填充的DIBR系统一起使用。一些实施例可以使用基于DIBR的方法来产生用于自由姿势或移动用户的自由基线立体和运动视差。该实施例可以为多个用户及改变的视点，计算3D几何变换。该实施例在图37中示出(参见“虚拟视点生成”内的两个框，对应于方法3712和3714)。
MFP NED中自由基线立体和运动视差的示例实施例
根据一些实施例的本文公开的系统和方法形成MFP并使用它们在期望的定向(头部倾斜)上产生选择的(变化的)立体差异。一些实施例使MFP移位以符合基线定向。一些实施例为实际的MFP显示器而产生自由基线立体和运动视差效应。如果在实际MFP显示器上显示，则支持自然调节。MFP堆栈可以通过头部倾斜而被观看，例如如图34中针对立体显示器所示，使得支持调节的立体感实际上对于观看者的头部倾斜(“围绕鼻子”旋转)是不变的。
用于不对称视点生成的示例实施例
一个替换实施例是形成和显示一具有移位的MFP的一个眼睛信息，并且显示没有移位的其它眼睛MFP(使用用于直接用于一只眼睛的所接收的纹理图像的焦平面)。按照Paul V.Johnson等人的用于改善观察者舒适性的动态透镜和单眼视觉3D显示器(DynamicLens and Monovision 3D Displays to Improve Viewer Comfort,)，24(11)Opt.Exp.11808-11827(2016)，同时显示一个高质量图像和一个低质量图像(这里具有去遮挡区域)可以带来与单视觉方法类似的质量益处。然而，由于不对称视点的生成和失真，这种变型可以允许较小的差异。
产生MFP和虚拟视点
用于形成MFP和虚拟视点的一些实施例计算每个焦平面的深度混合权重，通过用为每个焦平面计算的深度混合权重重新映射图像深度图来形成MFP权重图，将捕获的或输入的图像乘以每个MFP权重图以形成每个焦平面图像，并且执行每个焦平面图像的空间移位，并且将形成的MFP相加以生成用于差异的立体图像对。对于一些实施例，可计算深度混合权重，并且可使用图像处理来形成MFP权重图(如图38B所示)、形成每个焦平面图像(如图39A-39C所示，对于一个焦平面图像)以及执行空间移位和相加(例如，对于立体图像选择差异)。
图38A-38C是示出根据一些实施例的分别示出了深度图图像、深度加权图和所生成的焦平面图像的图像操纵程序的一组示例界面的一组计算机窗口。图38A-38C示出了深度图3800(图38A)的示例，其被正弦加权函数3830(图38B)重新映射以创建一个焦平面3860(图38C)的权重图。可以以类似的方式形成其它权重图(在该示例中总共5个)。
图39A-39C是示出在模拟环境中的一组示例生成的焦平面图像的图示。图39A-39C示出了测试图像3900(图39A)乘以权重图3930(图38的中间曲线图)以形成相应的焦平面3960(图39C)。以相同的方式生成其它焦平面(在该示例中总共5个)。
关于虚拟视点生成中的计算复杂度
视点变化的3D扭曲可以通过计算机图形算法来进行。这些算法的复杂度、速度和结果例如根据所使用的视角和相机模型而不同。在Fehn中找到了用于移位传感器设置的数学公式的示例。例如，对于具有大FoV(视场或视场)和比许多外部显示器中的分辨率大的分辨率的高质量近眼显示器而言，3D扭曲的计算复杂度可能较高。此外，如果使用3D扭曲来形成MFP显示器的视点，则在3D扭曲之后形成焦平面，这可能进一步增加许多先前系统的复杂性。
另一方面，形成MFP的堆栈是一使用基于像素的操作的过程，用于通过每个像素到每个焦平面的距离(例如，从所述深度图获得)来加权该每个像素值。在进行分解之后，视点或立体基线定向的任何变化仅仅是一次导出的焦平面相对于彼此的横向(例如，大块的)移位，以及它们的每像素相加，以形成到新视点的投影。对于一些实施例，由于焦平面的移位可以以像素位移的倍数进行，而没有通过内插等的分辨率改变，因此也没有子像素移位和操作。
相反，利用传统的3D扭曲程序，改变视点通常需要子像素精度的多个基于3D几何结构的算术运算(例如，矩阵计算)。此外，用于去除去遮挡的内部修补和孔洞填充操作可使用具有若干像素宽的核或窗口的操作，而不是简单的基于像素的操作。
图40是示出根据一些实施例的用于生成多焦平面(MFP)显示图像的示例性过程的消息序列图。图40是通过移位和投影焦平面图像来生成立体MFP堆栈(例如，相应地，用于左眼和右眼的MFP的两个单目堆栈)的一些实施例的消息序列图4000。MFP显示器4006将MFP平面位置发送4008到渲染器控制模块4002。纹理图像和深度图由渲染器控制模块4002接收4010。所述渲染器控制模块4002为每个MFP平面生成4012图像。跟踪模块4004(或(一个或多个)传感器)向渲染器控制模块4002发送4014观看者位置/定向。MFP图像由渲染器控制模块4002移位和投影4016。立体MFP堆栈(左/右对)从渲染器控制模块4002发送4018到MFP显示器4006，并通过该MFP显示器显示给用户。
图41是示出了根据一些实施方式的用于生成立体3D显示图像的示例过程的消息序列图。图41是生成立体3D显示器(例如，外部平面屏幕)的焦平面图像的差异视图的一些实施例的消息序列图4100。由渲染器控制模块4102接收4108纹理图像和深度图。渲染器控制模块4102生成4110用于每个MFP平面的图像。对于一些实施例，渲染器控制模块4102可以用于计算4114差异视图。眼镜/HMD传感器4104将观看者位置/定向发送4112到渲染器控制模块4102。差异视图由渲染器控制模块4102计算。立体图像左/右对从渲染器控制模块4102发送4116到立体3D显示器4106。该立体3D显示器4106将来自立体显示器4106的活动眼镜信号发送4118到眼镜/HMD 4104，并且所述图像被显示给用户。
对于一些实施例，一种方法可以包括接收三维视频内容；使用所述三维视频内容，针对MFP图像的数目和位置，计算一个或多个多焦平面MFP图像；接收观看者定向信号；使用所述一个或多个MFP图像和所述观看者定向信号，计算立体显示器的共同视图的一个或多个差异图像；以及将所述一个或多个差异图像渲染到所述立体显示器，其中所述立体显示器的所述共同视图被渲染到所述立体显示器的每个眼睛视图。对于一些实施例，所述共同视图可以是相对于单视场MFP堆栈的平均眼睛视点的左眼视点和右眼视点。对于MFP NED，光学设备可以使用潜望式目镜，其使得能够在眼睛之间用未交叉的眼睛观看所述单视场MFP堆栈。
对于一些实施例，计算共同视图的一个或多个差异图像的方法可以计算平均视点，该平均视点是所述立体显示器的每个眼睛视图的平均值(或左/右图像对的平均值)。
根据一些实施例的本文公开的系统和方法形成了MFP并使用它们在期望的定向(头部倾斜)上产生选择的(变化的)立体差异。MFP可以在多个方向上被移位以符合基线定向。所得到的立体图像可以显示在可穿戴显示器以及例如外部屏幕上。一些实施例可以用于使用立体显示器产生用于服务的立体内容。一些实施例使得能够开发立体显示器，从而使得能够以不失真的视差以及以传感器支持的运动视差效果以容易且成本有效的方式产生独立于头部倾斜(自由基线)的立体渲染。这样的系统可以支持移动其头部和身体的用户的立体影像和运动视差。
一些实施例产生立体图像，如果在先前的立体显示器上观看，则可能导致VAC。通过用调节不变型立体眼镜来显示所述内容，可以减少VAC。在替代实施例中，支持与MFP显示器的基于差异的交互功能。
对于一些实施例，一种方法可以包括：使用三维视频内容和观看者定向信号，计算MFP显示器的一个或多个焦平面的图像数据；以及使用所计算的图像数据，将一个或多个MFP图像渲染给所述MFP显示器。
对于一些实施例，一种设备可以包括处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行以下过程：使用三维视频内容和观看者定向信号，计算MFP显示器的一个或多个焦平面的图像数据；以及使用所计算的图像数据，将一个或多个MFP图像渲染给所述MFP显示器。
从深度加纹理进行虚拟视点生成
根据一些实施例的本文公开的系统和方法涉及在立体3D(S3D)显示系统中形成立体图像对(立体图)。一种用于形成立体图的方法是基于深度图像的渲染(DIBR)。根据一些实施例的本文公开的系统和方法从多个焦平面(MFP)生成合成立体视图。根据一些实施例的一个示例方法使用通过DIBR系统中使用的3D扭曲的虚拟视点生成。对于DIBR和MFP立体方法，在捕获视图时可以使用深度加纹理输入格式。一些实施例使用多个焦平面(MFP)的后处理以用于虚拟视点生成和MFP渲染。
在Akeley和Hu&Hu中描述了用于在基于MFP的方法中改善深度感知的深度混合，并且在Narain中描述了基于频域中的焦(表示)面信息的重新分布的深度混合方法。自然模糊和遮挡是立体和3D图像渲染中的质量的重要因素。关于人类视觉系统(HVS)感知它们的信息，可参见例如Zannoli等人的模糊和遮挡时深度的感知(Blur and the Perception ofDepth at Occlusion)，16(6):17Journal of Vision(视觉杂志)1-25(2016)。
许多立体3D系统使用基于深度图像的渲染(DIBR)。图8示出了基于DIBR的3D传输系统的示意图，其由Zhu改编而来。在许多DIBR系统中，在接收侧，虚拟视点生成包括3D扭曲阶段和孔洞填充阶段(参见图8中的虚拟视点产生块)。3D扭曲可用于将两个虚拟视图形成为3D视图(纹理深度图)，如从观看者的两个眼点看到的。3D扭曲是通过计算机图形算法进行的。从MFP的堆栈合成的立体3D
多焦平面(MFP)渲染被用于支持近眼显示器中的自然眼睛调节。如上所述，可以从多个焦平面合成立体视图(参见DIBR中的3D扭曲)。MFP显示器创建一具有离散焦平面的堆栈，从而从沿着观看者的视轴的层组成3D场景。通过投影所有那些体积像素(例如，更精确地：体素)来形成所述3D场景的视图，这些体积像素在不同深度和空间角度对用户可见。多焦平面可以例如通过以下而被渲染：通过空间复用具有2D显示的堆栈，或者通过由高速可变焦元件(VFE)以时间复用方式顺序地切换单个2D显示的焦距，同时渲染相应多焦平面的可见部分。
图12示出了多焦点近眼显示器的示意图。MFP显示器创建所显示的场景的光场的近似。对于许多近眼显示器，仅支持一个用户视点。相应地，所述近似更容易并且可能不使用完整的光场捕获作为输入。如果在不同距离渲染大量MFP(进入3D空间)，则支持观看者的接近自然调节(避免VAC)。当形成MFP时，通过使用深度混合，可以进一步提高渲染质量和/或减少MFP的数量。
深度混合意味着根据像素通常距两个最近的焦平面的距离来对该像素进行加权。所述距离可以例如从深度图获得。深度混合可以改善焦平面之间的深度感知。焦平面汇总到(或接近)原始捕获场景，以符合统一分区。有许多方法将场景分解成加性平面，以便它们满足这个要求。相应地，根据一些实施例，本文公开的系统和方法被呈现为说明性示例。
许多MFP渲染系统形成并示出了用于每只眼睛的不同的MFP堆栈，支持立体感知。Suyama描述了两个特殊形成的焦平面之间的深度融合3D(DFD)现象。Akeley将该现象(被描述为深度混合)扩展到具有多个(多于两个)焦平面的设置。然而，Akeley被理解为描述了由每只眼睛观看单独的MFP堆栈，其由用于深度和纹理的立体捕获而被形成(而不是通过移位MFP来合成差异)。
对于根据一些实施例的本文公开的一些示例系统和方法，两只眼睛从稍微不同的视点观看焦平面的相同单目堆栈，从而产生用于3D感知的稍微合成的差异。因此，对于一些实施例，不是为每只眼睛单独地捕获和形成两组MFP，而是仅形成MFP的一个堆栈并且朝向眼睛之间的点对准，如图18所示。图18示出了由平均眼点形成的MFP的堆栈，并且左右眼从稍微不同的视点看到相同的焦平面。对于一些实施例，通过从稍微不同的视点形成一个单视场MFP堆栈的两个版本，将朝向眼睛之间的点形成和对准的MFP的一个堆栈渲染给立体MFP显示器的每个眼睛视图，如图18所示，在一些实施例中，将所述MFP堆栈的所述两个版本的投影汇总，并使用传统的立体显示器(S3D)将其显示给每只眼睛。
来自焦平面的3D感知对于精确地驻留在那些平面上的平坦对象是正确的。然而，使用深度混合，所述感知在所述平面之间也接近于正确。由于可以为每只眼睛分别形成MFP堆栈，所以通过研究对立体(两组)MFP的适应性，已经开发出深度混合。然而，深度混合可以通过(合成的)立体差异，提供更连续的深度感知(如果用两只眼睛观看一个单目深度混合MFP堆栈(参见图18))。通过比较对应于图29A、29B、46A和46B的具有和不具有深度混合的交叉眼立体图，可以看到这种现象。
下面描述从MFP合成立体图像。除了形成MFP的堆栈之外，还可从所述焦平面形成立体图像对(立体图)。例如，MFP的单目堆栈(参见图27A)被形成，并放置在离观看者的(平均)眼点设定(或期望或规则)的距离处，并由两只眼睛观看(参见图27B)。
图27A示出了通过深度混合而形成的单目MFP堆栈。图27B示出了用两只眼睛来观看所述堆栈。图27C示出了左眼的焦平面，对于该左眼，所述焦平面看起来已经向右移位。图27D示出了右眼的焦平面，对于该右眼，所述焦平面看起来已经向左移位。所述左眼和右眼从稍微不同的视点看到所述堆栈。相应地，可以通过在特定方向上将MFP移位特定量，从用于立体(或立体MFP)观看的单目MFP堆栈，合成两个(立体)MFP堆栈。MFP的移位实际上是用于虚拟视点变化的更复杂变换的近似(参见传统DIBR系统中的3D扭曲)。眼睛感知的每个焦平面的侧向位置可线性地取决于所述焦平面的距离(参见图27B)。当使用如图27B中的固定焦平面间隔时，如果在与两只眼睛相同的位置处看到最远平面(例如，其被远离眼睛放置)，则中间平面看起来侧向移位了“一个单元”，并且最近平面侧向移位了“两个单元”。如果所述焦平面的间隔在屈光度上是规则的，则它们的实际度量距离被用于导出侧向移位的变化量。
如果形成对应于眼睛位置的立体图像对，则通过将侧向移位的焦平面投影到每个视点来折叠它们。对于立体图像对的投影实际上意味着所述焦平面上的相应像素沿着深度轴而被汇总。这导致具有不同立体差异/视差的两个图像的立体图像对。一些实施例可以从单视场MFP堆栈(例如，图28B到28D)开始，并且可以使用合成差异来生成一立体MFP堆栈。
图29A和29B给出了通过所述过程而形成的立体图像对的示例。在形成图29A和29B的示例中使用的三个焦平面时，使用具有线性(帐篷形)滤波器的深度混合。图29A和29B显示了通过移位和汇总三个线性混合MFP而形成的交叉眼立体图的示例。总的差异对应于图像宽度的2.76％(参照对于特定测试图像，MFP被移位了多达6个像素)。如果焦平面的间隔在屈光尺度上是规则的，则它们的实际度量距离被用于导出侧向移位的变化量。深度混合改进MFP渲染中的深度感知
在一些实施例中，3D视频内容可以被滤波成高频和低频内容。所述高频内容可以被分解成一个或多个高频焦平面。所述低频内容可以被重新分布到一个或多个高频焦平面以生成一个或多个重新分布的焦平面。所述一个或多个重新分布的焦平面可以用于渲染一个或多个多焦平面图像。
根据J.P.Rolland等人的多焦平面头戴式显示器(Multifocal Planes Head-Mounted Displays)，39 Appl.Opt.3209–3215(2000)(“Rolland”)，对于任何人，最大28个焦面足以覆盖从无穷大到4屈光度(25cm)的深度范围，对应于焦平面的1/7屈光度间隔。对于具有平均视力的人，Rolland给出了14个焦平面覆盖该范围。因此，可以使用大量焦平面来用于高质量深度感知。
渲染大量焦平面受到各种技术原因的限制。可以通过使用深度混合来减少该数量。如果仅使用几个焦平面，则最佳布置对于人眼特性可能是有益的。由于深度感知的精度与距观看者的距离成反比地降低，因此可以通过根据屈光深度而布置深度平面，从而获得更高的精度。
可以确定线性标度和屈光标度之间的映射。通过使用线性标度上的焦平面之间的规则间距来获得许多示例。基于深度的混合可用于减少深度维度中的量化误差，否则其可为人眼所见。深度混合意味着使用基于深度的函数来对用于构建每个焦平面的像素进行加权。
图42A是示出根据一些实施例的权重对深度的示例混合函数4200、4202、4204的图。一个深度混合函数是图42A中所示的箱式滤波器(其进行切片而没有混合)。为了比较，帐篷式滤波器是分段线性的锯齿形混合函数，如图43A所示。对于一些实施例，深度值的范围在0和255之间，这在此在诸如图42A和42C的一些示例中使用。图42B是示出了示例测试图像的图示4210。图42C是示出了图42B的像素距离的示例深度图4220。图42D-42F是示出了根据一些实施例的使用图42A的深度权重与图42B的测试图像4210及其图42C的示例深度图的示例焦平面图像的图示4230、4240、4250。图42B和42C源自于在以下网页上找到的图像：File:2D plus depth.png,WIKIPEDIA,//commons.wikimedia.org/w/index.php？curid＝5489771(最后访问时间为2019年2月22日)，以及图42D至42F是该图像的修改版本。
图43A是示出了根据一些实施例的重量与深度的示例混合函数4300、4302、4304的曲线图。图43B是示出了示例测试图像的图示4310。图43C是示出了图43B的像素距离的示例深度图4320。图43D-43F是示出根据一些实施例的使用图43A的深度权重与图43B的测试图像4310及其图43C的示例深度图的示例焦平面图像的图示4330、4340、4350。图43B和43C源自于在以下网页上找到的图像：File:2D plus depth.png,WIKIPEDIA,//commons.wikimedia.org/w/index.php？curid＝5489771(最后访问时间为2019年2月22日)，以及图43D至43F是该图像的修改版本。
对于一些实施例，多项式混合函数在整个深度范围上扩展。图21A-21F示出了使用三个多项式混合函数(图21A)而形成焦平面的示例。在图21D-21F中示出了测试图像(图21B)的相应焦平面，并且在图21C中示出了其深度图。
图22A-22F示出了使用三个正弦混合加权函数(图22A)而形成焦平面的示例。在图22D-22F中示出了测试图像(图22B)的相应焦平面，并且在图22C中示出了其深度图。
除了上述混合滤波器之外，Hu&Hua还建议了其它变型。在Narain中，描述了一种用于形成屈光放置的MFP的方法。该方法不是从场景中连续地捕获深度和纹理，而是捕获一系列焦点堆栈-连续的多组具有变化焦点距离的多个图像。
使用焦点堆栈，MFP可以根据人类视觉系统(HVS)而被更精确地优化。特别地，根据Narain，该方法应用于所捕获的视图中的遮挡、反射和其它非朗伯现象的影响。除了具有不同焦距的相机之外，可以从由场景捕获的光场导出一组输入图像。在Narain中，为此目的而对第一代Lytro Illum相机进行了实验。
图44是示出在距用户不同深度处捕获的示例焦点堆栈图像的示意图。图44示出了焦点堆栈(具有不同焦距的四个图像4412、4414、4416、4418)的示例4400，其从现实世界视图捕获并被处理以形成用户的眼睛4402的焦点(呈现)平面4404、4406、4408、4410(改编自Narain)。插图4420、4422、4424、4426、4428、4430、4432、4434示出了具有变化焦点模糊的焦点堆栈图像4400的细节(改编自Narain)。
图45A-45D是示出示例线性混合焦平面的图示。图45E-45H是示出从焦点堆栈处理的示例焦点(呈现)平面的图示。图45A-45D示出了通过线性深度混合形成的MFP的比较，图45E-45H示出了通过Narain中的优化的程序形成的MFP的比较。图45A-45H比较了用传统线性混合形成的焦平面4500、4510、4520、4530(图45A-45D)和用优化混合的焦点堆栈形成的焦(例如，呈现)平面4540、4550、4560、4570(图45E-45H)。注意，图45E-45H中的图像的亮度已经被增加，以便在打印时具有更好的可视性。图45A到45H是在Narain中出现的图像的线描版本。
Narain中的方法不使用深度加纹理格式来进行场景捕获。相反，系统捕获具有不同焦距的一组图像，在频域中处理它们，并且根据人类视觉系统的模型(诸如视网膜模糊)将所述信息分配到不同的焦平面(或表示平面，如在Narain中表示的)。
如Narain中所述，当打印时可能为了更好的可视性，优化的焦平面(图45E-45H)的亮度似乎已经按比例增加了(大约)两倍。稍后在本公开中，当使用这些焦平面作为测试图像时，对它们进行0.5的反向缩放以防止结果的饱和(违反统一划分)。
值得注意的是，在图45A-45D所示的线性混合焦平面中也存在一些水平亮度伪像)。当对焦平面汇总以再现原始测试图像(证明统一划分)时，可以注意到这些伪像。Narain不被理解为在其论文或其补充材料中给出所述测试图像的深度图，因此我们不能再生所述MFP。尽管观察到伪像，但是这些焦平面被用于可视化一些实施例的效果，以便使得能够将它们的性能与Narain中的方法进行比较。
根据Narain，高频(边缘和纹理生成的)分量受益于被分配给它们的最近焦距。低频分量也可以被分配给更远的焦平面。引用Narain，“高频图像内容必须被指派给其最近的平面，而低频则欠约束并且可以在平面之间重新分布。正是这些欠约束的自由度，算法用于满足对显示强度的约束”。高频分量在从焦点属性感知深度方面占主导地位。低频分量(例如缓慢变化的亮度或颜色)仅产生一些深度感知的提示。在一些实施例中，通过在原始焦平面位置之间重新分布它们的低频内容来处理由已知方法产生的焦平面(例如，使用线性深度混合产生的图45A-45D)，并且当使用重新分布的焦平面来创建立体或变化的视点(后者用于运动视差)时，该重新分布的焦平面被示出为具有优于原始未处理的焦平面的益处。
由深度传感器检测的视距离对于被反射或折射(非朗伯)的图像内容不一定是真实的。如果如在Narain的系统中那样捕获作为焦距的函数的图像信息，则如果该图像是以在深度维度上足够小的间隔(焦距上足够小的差异)捕获的，则对于这样的内容，聚焦属性和距离也匹配。
对于许多3D显示系统，新视点受益于被导出以支持立体或多视图渲染。例如，如果使用一深度加纹理捕获格式，则可以通过围绕捕获点对称地形成虚拟视点来导出立体视图，使得两个视图都被合成。
使用深度加纹理作为捕获格式在立体3D中具有益处。虽然立体基线在前端处不固定，但是也可以针对所存储的内容，在接收机中合成所述差异的量和方向。
通常，相应的透视变化会揭露遮挡对象后面的视图的部分，这在Zhu中存在描述。如图9中的示意图以及图10A和10B中的示例所示，这些去遮挡在每个新的透视图像中显示为间隙或孔洞，因为所捕获的纹理或深度不包括来自这些区域的信息。
图9示出了当改变视点时，如当将相机视点从源位置/图像改变到目标位置/图像时所示，可以产生去遮挡。
产生去遮挡的机制对于基于DIBR和MFP的虚拟视点生成可以是类似的。这些去遮挡可以在视点生成中产生，或者如果MFP观看者偏离视点足够远时产生。通过使用降低去遮挡的可见性的手段，可以实现更大的差异或视点改变。对于许多先前的系统，去遮挡仍然限制了最大差异。
图10A和10B给出了3D扭曲图像的示例。该示例仅示出了左眼图像。右眼图像以相同的方式形成，并且具有类似的缺陷，只是在对象的右侧而已。图10A和10B示出了通过3D扭曲而产生的去遮挡的示例。3D扭曲之后的原始单视场图像在左侧，3D扭曲图像的细节在右侧(如果使用基于线性插值的孔洞填充)。
在孔洞填充中，使用各种图像和深度图滤波和修补算法来填充所述孔洞或其它形式的去遮挡。遮挡的类型和数量很大程度上取决于内容，并且失真及其可见性也取决于内容。去遮挡可能降低对象边缘周围的感知立体质量。它们可能限制合成差异的量和深度的感知。基于移位MFP的虚拟视点生成过程可以在垂直边缘旁边产生去遮挡，或者更一般地，垂直于所选择的立体基线产生去遮挡。
图46A和46B是示出根据一些实施例的使用非混合焦平面图像形成的相应的右眼和左眼的示例立体图像的图示。对于一些实施例，使用箱式滤波来形成非混合焦平面图像(例如，使用诸如图20A中的深度加权函数的齿形深度加权函数的箱式滤波器)。图46A和46B给出了通过将两个视点4600、4650导出到MFP堆栈而形成的立体图像中的去遮挡的示例。对于一些实施例，可以通过对输入图像进行箱式滤波来生成非混合焦平面图像。在该示例中，MFP没有被深度混合，因为使用箱式滤波器来形成它们。图46A和46B示出了通过移位和汇总三个非混合(箱式滤波)MFP形成的交叉眼睛立体图中的去遮挡的示例。总的差异对应于图像宽度的2.76％(参照对于两个图像，MFP被向上移位了高达6个像素)。当使用深度混合时，去遮挡是较不可见的。深度混合还创建了MFP之间的深度值。通过将图46A和46B与使用深度混合的图29A和29B进行比较，可以看出这两种改进。
除了减少深度维度中的量化效应之外，如果从MFP合成视点，深度混合可以减少去遮挡。为了减少去遮挡，来自相邻深度平面的内容被用于深度混合。如果在对应于焦平面的(一个或多个)深度处没有任何内容，则侧向地移近(遮挡)焦平面则揭示了没有任何纹理或颜色信息(并且表现为透明)的空区域。这些空白区域可以在对象边缘旁边呈现为黑条(由于通过所有焦平面的透明度)。如果在相邻焦平面处没有内容，则将没有深度混合以减少去遮挡。因此，通过深度混合减少去遮挡取决于内容。
对于从MFP形成合成立体，先前深度混合方法的一个挑战是它们产生MFP，由于将大部分低频内容(具有缓慢变化的亮度和颜色的图像区域)集中到(多个焦平面中的)一个焦平面，因此MFP可能具有去遮挡。相应地，MFP中的大面积没有留下任何信息。
一些实施例对多个焦平面(MFP)进行后处理，使得它们具有用于虚拟视点生成或MFP渲染的更好属性。一些实施例基于通过重新分布MFP的低频内容来去除MFP的典型的孔洞或无纹理(例如，白色背景)区域。特别地，当使用MFP用于生成虚拟(例如，立体)视点时，即使具有大的差异，重新分布也减少了去遮挡。
重新分布可将低频内容更均匀地分配在所有焦平面上，而不是将该内容集中在MFP内部。该方法可以产生比其它MFP系统更均匀分布的亮度和颜色值。低频内容可以被重新分配而不降低3D感知。该过程保留了MFP的统一划分，意味着它们加起来构成了(例如，足够接近)原始图像。
从两个虚拟视点观察，单视场MFP堆栈在支持在任何基线方向上的差异和运动视差的能力方面是有吸引力的。这些益处与立体3D中更常规的基于深度图像的渲染(DIBR)的益处相当。
如果在捕获场景之前选择立体视点、差异和基线，则接收终端可以不在捕获场景之后使得能够改变这些参数。如果观看者想要设置这些参数或者如果系统试图组合利用不同参数产生的立体内容的渲染，则可能出现问题。
可以使用DBIR系统来代替传统的立体视频，因为使用DIBR的立体图像形成可以在接收机处的后处理阶段中实现附加选项。立体差异的量(使用深度预算)可以取决于所捕获的内容，其可以例如比在拍摄场景期间更有利于事后控制。类似地，使用深度加纹理格式来产生多个焦平面可能比在拍摄时更容易在事后控制。接收终端中进行关于MFP的单目堆栈的后处理使得能够以具有可变差异的基线方向进行立体MFP渲染。
许多具有调节支持的3D显示系统或近眼显示器不支持或容忍视点的甚至微小的变化。用于产生(重新分布)MFP的一些实施例支持相对大的视点改变、差异和运动视差，并且改进例如3DoF+应用中的视觉质量。通过比以前的MFP系统更均匀地分布MFP亮度和颜色值，可以减少相对大的去遮挡。这种均匀分布是基于在几个或所有焦平面上分配低频内容，而不是将低频内容集中到所述MFP之一。
一些实施例执行多个后处理以改善使用一些现有方法形成的MFP的属性。这些方法可以使用深度和纹理输入以及焦平面的堆栈作为输入，并且可以与多个捕获和传输格式一起工作。
在以前的MFP显示器中，由于为每只眼睛渲染使用纹理和深度的立体捕获而获得的单独的MFP堆栈，立体差异相关的去遮挡可能不是问题。然而，由于使用具有高亮度和对比度差别的焦平面，即使由眼睛旋转引起的小视点变化也可能表现为小但可见的去遮挡。在某些场景下可以去除这些伪像。根据一些实施例的本文公开的系统和方法能够生成具有大差异的虚拟视点。
重新分布MFP以支持视点改变
下面描述的是用于产生优化的MFP的示例过程，该优化的MFP用于具有视点变化的视点生成。用于产生重新分布的MFP的一些实施例包括：接收MFP输入，其可以通过深度混合方法而被生成。检测低频图像区域，这可以通过对输入图像进行低通滤波和对每个MFP进行低通滤波来实现。每个MFP的低通分量可以由低通图像滤波器输出的相等份额来代替，这可以通过从每个MFP去除对应的低通分量并且通过添加所述低通滤波的输入图像的一部分来实现，其中该部分是所使用的MFP的数量的倒数。MFP可以被重新分布以产生用于合成具有减少的去遮挡量的立体视图的MFP和/或以使MFP具有深度尺寸以支持自然调节(以去除VAC)。高频图像内容可以不是这样导出的，而可以是所述低频分量的补充。
图47是示出根据一些实施例的用于生成前部、中部和后部深度范围的重新分布的焦平面图像的示例过程的流程图。图47是用于三个MFP的重新分布过程的框图4700。对于一些实施例，重新分布4708是用于常规形成的MFP的后处理。对于一些实施例，一组(例如，传统的)焦平面(MFP)被用作输入。所接收的图像(图片)4704可以使用图片深度数据4702而被从那些焦平面汇总，或者可以由MFP块4706接收。MFP块4706可输出前、中和后深度4710、4712、4714平面。每个焦平面的低通分量(N中的一个)通过一缩放因子1/N而被替换为所述输入图像的低通分量，其中N是焦平面的数量。例如，N是3。该过程可以保留MFP的统一划分属性。
图48A-48C是示出根据一些实施例的没有重新分布的示例焦平面图像的图示。图48D-48F是示出了根据一些实施例的具有重新分布的示例焦平面图像的图示。图48A-48F是根据一些实施例的未处理的花测试图像的修改版本及其相应的深度图，例如图21B和21C。图48A-48F显示了重新分布之前和之后的MFP的一个示例。图48A-48C显示了重新分布之前线性混合的MFP 4800、4810、4820。图48D-48F示出了相同MFP 4830、4840、4850的重新分布版本。具有20像素(水平和垂直)半径的高斯滤波器用于低通滤波。图48A-48F揭示了重新分布保留了每个焦平面的高频分量(细节)，而将低频分量带到最初没有信息的区域(例如图48D-48F的白色背景)。
图48A-48C和图48D-48F中的两个MFP示例都将所捕获的信息分成不同的调节水平(焦距)。然而，它们修补去遮挡的能力不同。尽管图48A-48C中通过线性混合产生的MFP堆栈具有可能导致去遮挡的未纹理化/未着色(例如白色背景)区域，但图48D-48F中的相同MFP的重新分布的版本显示出了改进并具有更均匀的特性。当针对新视点或针对小的观看者运动来移位第二组MFP时，较少的去遮挡是可见的。
图48D-48F中的MFP被选择性地低通滤波，使得纹理化区域和非纹理化(例如白色背景)区域之间的高对比度过渡不被滤波。因为低频图像分量对在不同深度被分配不敏感，所以在一些示例实施例中，低频图像分量被均匀地分配给所有焦平面。低频可以仅被分配给一个焦平面，或者被分配给在任何原始MFP距离之间或外部(不属于该任何原始MFP)的额外焦平面。
可能有不同的理由来支持特定的分配。例如，用于所述分配的比率可以根据内容属性而变化。而且，观看者可能期望结果MFP符合(或接近)统一划分。
图49A-49B是示出了根据一些实施例的使用线性混合焦平面形成的交叉眼睛立体图的示例右图像和左图像的图示。图49A和49B示出了使用图45A-45D所示的线性混合焦平面形成的交叉眼睛立体图的示例。图49A和49B示出了根据一些实施例的通过移位线性混合的焦平面(图45A-45D，其是在Narain中出现的图像的线画版本)而形成的交叉眼睛立体图4900、4950。总差异为4％(600×600像素图像中的2×12像素)。图49A和49B示出了对象边缘旁边的示例性去遮挡误差4902、4952。
图50A-50B是示出了根据一些实施例的使用重新分布的焦平面形成的交叉眼睛立体图的示例右图像和左图像的图示。图50A和50B示出了与图49A和49B相同的焦平面但被重新分布的一个实施例。在图50A和50B中，示例性的去遮挡5002、5052小得多。图50A和50B示出了使用利用所述简化过程而被重新分布的焦平面形成的交叉眼睛立体图。总差异为4％。相对于图49A和49B中的那些，去遮挡误差被减小。图50A和50B是Narain的(一个或多个)未处理图像(图45A-45D)的处理版本。
在图49A、49B、50A和50B中，使用四个MFP，合成差异的量对应于图像宽度的4.0％(对于两个视点，600×600像素的MFP被移位多达12个像素)。对于图50A和50B中的示例，MFP被选择性地低通滤波，使得纹理化和非纹理化(例如白色背景)区域之间的高对比度过渡不被滤波。
重新分布MFP的低频分量
如Narain所示，适应性调节对于重新分布的MFP可能更自然。特别地，这适用于场景中的非朗伯效应。Narain不被理解为作为后处理而重新分布MFP，并且不被理解为用于实现立体视图中的大的合成差异，即使在任意的基线定向中。
根据一些实施例，低频分量的重新分布用于多焦平面(MFP)，以用于具有大差异的虚拟视点生成。通过(重新)分布低频分量，可以避免传统焦平面中和之间的像素值的大的变化。这又减少了当为新视点而移位焦平面(参见3D扭曲)时的高对比度效应和可见的去遮挡。
关于执行滤波操作
重新分布可以产生修改的MFP，使得每个焦平面是整个场景的低频内容的指定部分与特定于所述焦平面的那些高频分量(在对应的调节距离处)的总和。该过程用整个低频分量的特定部分替换MFP特有的低频分量。
高频和低频分量是互补的，使得在导出它们中的任一个时，可以通过减法来确定另一个分量。在图47所示的示例过程中，导出低频分量，并且从未滤波图像获得高频分量作为它们的补足(通过减法)。该过程可以是相反的，或者两个分量可以直接用两个滤波器获得，这两个滤波器在频域中具有互补的传递函数。因为在渲染时用户的调节距离未被确定或存储，所以许多系统可以针对所有焦平面使用相同的滤波器函数。
注意，选择性地滤波所述原始MFP，使得不滤波纹理化和未纹理化(例如，白色背景)区域之间的高对比度变化(例如，参见图45A-45D)。在没有选择性滤波的情况下，所述高对比度区域可能产生高频分量，这些高频分量不是所述原始图像内容的一部分，并且在对象边缘周围引起瞬时震荡，从而降低了重新分布的MFP以及使用它们的渲染的质量。
在根据一些实施例的公开的示例中，使用具有可调半径(滤波器窗口)的高斯低通滤波器。在一些实施例中，对于最终结果有益的是，仅对不属于非零值(有色)区域和零值(透明或空白)区域之间的陡峭过渡的那些像素应用所述滤波操作。选择性高斯滤波器不对具有比设定阈值更大的色差的图像区域进行滤波。由于有色区域和黑色区域之间的典型的高对比度，它们的边界可以被可靠地检测，并且该检测对所述阈值不敏感。
图51A-51B是示出根据一些实施例的在重新分布MFP中使用选择性高斯滤波形成的交叉眼睛立体图的示例右图像和左图像的图示。图51A和51B示出了在重新分布MFP中使用选择性高斯滤波的交叉眼睛立体图。参数在其它方面与图50A-50B中的相同，除了如果滤波改变像素值超过阈值(例如，这里为60)，则不应用该滤波。示例性去遮挡误差5102、5152比图50A-50B中的误差进一步减小。结果示出了所述场景的平滑部分中的一些轮廓，这可能由实现中使用的某些不准确性而引起的。图51A和51B是Narain的(一个或多个)未处理图像(图45A-45D)的处理版本。
关于支持非朗伯内容
Narain报道了一种方法，其中正确地呈现了反射或折射的非朗伯效应。许多先前的方法不支持这种类型的内容，但是这种支持的缺乏可能仅是特定类型的内容的缺点。
由于所公开的方法可以使用多种捕获和传输格式，因此也可以使用非朗伯内容，例如通过选择特定的输入格式而使用。许多先前的系统不支持利用深度传感器的深度图生成，但是可以支持聚焦堆栈(参见Narain)或者通过一些其它基于相机的(来自差异的深度)方法，其可能能够也针对非朗伯内容捕获正确的像素距离。因此，可以产生或校正作为输入而被接收的MFP，以在正确的距离处示出所反射或折射的图像内容。
对于一些实施例，源自焦点堆栈的MFP(呈现平面)可以作为输入被接收在前端中，并且在没有MFP形成阶段的情况下被使用，例如用于合成立体或运动视差。对于一些实施例，一种方法可以包括：接收多个焦平面图像；使用头部信息来定向所述多个焦平面图像以提供左眼与右眼之间的立体差异；以及显示所定向的多个焦平面图像。
用于形成重新分布的焦平面的示例实施例
上面描述了用于重新分配低频分量的过程。该过程可以基于将纹理图像分解成离散的MFP，并且使用深度混合方法(例如，线性滤波)在离散平面之间进行内插。用于在MFP之间重新分配低频率的滤波操作可以作为后处理而发生。
图52A是示出根据一些实施例的用于使用低频和高频滤波来生成重新分布的焦平面图像的示例过程的流程图。图52B是示出根据一些实施例的用于使用低通滤波来生成高频焦平面图像的示例过程的流程图。示例性过程5200(参见图52A)在使用图片深度数据5204将图片5202的高频内容和低频内容分解5208到焦平面5210之前，使用滤波器5206来分离所述高频内容和低频内容。低频重新分布5212和渲染5214MFP也发生。改变所述滤波阶段可生成替换的MFP。图52A是根据一些实施例的用于MFP的另一重新分布过程的框图。图52B示出了用于实现图片数据5252的互补低通滤波器5254和高通滤波器5256的示例处理5250。所述示例过程5200可以避免使用例如选择性高斯滤波器以及优化其阈值参数，因为不对通常包含高对比度过渡的焦平面进行低通滤波。相应地，使用所述示例性过程5200的一些实施例可以提高质量。
作为后处理的滤波可以由MFP过程和输出使用。然而，根据一些实施例的本文公开的一些示例方法和系统可以提高质量。一些实施例避免使用选择性或引导性滤波来从所述滤波中排除空区域(不属于实际焦平面内容的像素)。空区域可能在MFP中表现为白色或黑色区域，并且如果滤波，其可能不能被正确地检测。取决于图像内容，这可能表现为滤波结果中的缺陷，并且降低重新分布的焦平面的质量。一些实施例避免了用于选择性滤波的阈值的优化，因为没有使用该参数。
对于一些实施例，用于形成重新分布的焦平面的过程可以包括：针对低频内容，对输入图像进行滤波；以及将所述低频内容重新分布到所述多个焦平面图像。对于一些实施例，用于形成重新分布的焦平面的过程可以包括：针对高频内容，对输入图像进行滤波；以及将所述高频内容分解到所述多个焦平面图像。对于一些实施例，如果分解，则高频分量不从它们的原始深度移动，这与例如重新分布低频内容的情况不同。用于形成重新分布的焦平面的示例过程可以如图52A所示。对于一些实施例，图52A所示的高频内容HF可从图52A所示的低频内容LF得到，反之亦然。
避免使用带符号的算术
图53是示出根据一些实施例的用于生成针对前部、中部和后部深度范围的重新分布的焦平面图像的示例过程的流程图。如果对于给定的示例进行重新分布，则使用图53中所示的稍微修改的过程流程。图53示出了重新分布过程5300的框图。作为一个示例，示出了关于三个MFP的重新分布5320。使用具有常数(0.5和2)的缩放操作来防止图像处理软件中的饱和。一些实施例使用一组焦平面(MFP)作为输入。所接收的图像(图片)5304可以从这些焦平面5306汇总或者由MFP块5306接收。该MFP块5306除了接收所述图片5304之外，还可接收图片深度数据5302。所述MFP可以被分解成高、中和后范围平面5314、5316、5318。所述重新分布过程5300可输出前部、中部和后部重新分布的图片。在一些实施例中，算术运算和执行算术运算的组件(例如ALU)可以使用具有足够比特的带符号算术来处理带符号计算。
在图53中，每个焦平面(N中的一个)的低通(低频)分量通过缩放因子1/N而被该输入图像的低通分量替换，其中N是所使用的焦平面的数量。在该示例中，N是3，对应于缩放1/3。
使用具有其它常数的缩放操作(乘以0.5和2)来防止图像处理软件中的饱和。在第一加法操作中，发生按比例缩小0.5，这是通过对重叠图像应用50％的透明度来实现的。从每个焦平面减去低频分量需要相应地按比例缩小0.5，并在运算之后将结果乘以2。
注意，MFP的低频分量总和为(例如，足够接近)原始图像的低频分量，使得加法和减法操作可保留(例如，足够接近)用于MFP分解的统一划分。
图53中所示的实现方式可能导致计算精度的某种降低。具体地，一些像素可能在最后的减法阶段饱和为零，并且当乘以二时可能不会按比例缩小。这可能在图像的一些部分中显示为轻微的轮廓，其不是由根据一些实施例的所公开的示例方法引起的。
避免在变化中使用带符号像素
图54是示出根据一些实施例的用于使用低通滤波来生成重新分布的焦平面图像的示例过程的流程图。在进行对应于图54的模拟时，过程5400被应用以避免使用带符号的整数/像素(或(带符号的)高频表示)。图54示出了一个替代实施例。对于一些实施例，图像5402和图片深度5404由过程5400接收。所述图片5402可被滤波5406成高频分量和低频分量。所述高频分量和低频分量可以与图片深度数据结合使用，以生成到MFP分解过程5408、5410的输入。所述图片可被分解成用于低频分量和高频分量的N层5412、5414。所分解的层5412、5414可被重新分布5416并被渲染5418。
为了避免汇总饱和(将结果保持在为图像像素保留的8比特值内)，以50％的透明度对重新分布的LF 5416汇总。当减去低频平面(以产生重新分布的平面)时，相应地进行按比例放大。图52A和52B所示的过程的一个替换实施例避免了用具有符号表示的高频平面进行处理。一些实施例可以使用全准确度(带符号的)计算来重新分布LF 5416。
根据一些实施例的本文公开的系统和方法形成了单目MFP堆栈，其在用于产生立体3D视图时示出了减小的去遮挡量。一些实施例重新分布MFP并移位后处理的MFP，以生成差异和基线定向。所得到的立体图像可以显示在例如外部屏幕和可穿戴显示器上，这其中包括支持自然调节的那些显示器。
根据一些实施例的本文公开的系统和方法可以用于使用立体显示器产生用于服务的立体内容。
一些实施例使得能够开发立体显示器，从而使得能够以相对大的可调节差异和运动视差效果以容易且成本有效的方式产生自由基线(独立于头部倾斜)立体渲染。这些属性可以与3DoF+应用一起使用。
许多MFP显示器实现方式在时间或(图像)空间中使用MFP的复用。通过设计具有不同深度的对象的适当测试场景，并在对象边缘示出了特征行为，可识别一重新分布算法。一些实施例可以基于其支持立体影像和运动视差的能力而被识别，以用于移动其头部和其自身的用户。
一些实施例产生立体图像，该图像如果在先前的立体显示器上被观看，则可能导致VAC。根据一些实施例，通过本文公开的系统和方法形成的MFP可以使用支持自然调节的MFP显示器来渲染。
在一些实施例中使用合成差异(例如，基于MFP的处理(例如，通过针对S3D和MFP显示这两者而移位MFP))。根据一些实施例的本文公开的系统和方法将MFP的依赖于调节的属性(诸如在打印时可视化有问题的那些属性)转变为在打印时可见的空间差异，并且示出了对应MFP的许多属性在深度维度上。
轴向运动视差
许多先前系统的共同问题是运动视差仅针对小的侧向(通常为水平)移动而被支持，且不适用于轴向移动。多焦平面(MFP)是光场的经济近似。许多先前的MFP显示器仅支持单个精确视点，并且不支持当观看者在深度(轴向)维度上移动时的视点变化。因此，在这种先前系统中的使用通常限于固定的观看者位置。
许多以前的360度全景渲染系统使用定向传感器来支持向不同方向的观看，但是不支持轴向运动视差。这三自由度(3DOF)系统约束了用户仅在观看方向上改变。许多六自由度(6DOF)系统(例如，计算自动虚拟环境(CAVE))通常是昂贵的并且对于广播系统是不可行的。将小的一般用户运动带到3DOF系统的能力已经被描述为3DOF+。在本申请中，根据一些实施例，术语“自然3D运动”指的是该3DOF+功能。
实现具有降低的复杂度和传统3DOF或2D立体内容的3DOF+系统是由根据一些实施例的在此公开的系统和方法解决的挑战。另外的挑战是在这些新的3DOF+解决方案中实现显示内容的自然调节(避免聚散-调节冲突(VAC))。
图55A-55B是示出根据一些实施例的在空间中渲染的示例性多焦平面的示意性透视图5500、5550。图55A和55B示出了由虚线示出的标称视点5504到由实线矩形示出的焦平面(MFP)5506。如果观看者5502移动，则可以生成新的视点，而不是看到来自标称原点视点的信息(焦平面)。焦平面是关于3D场景的近似，并且可以例如以在某些方面类似于将3D模型扭曲到新定向的方法(参见虚拟视点生成块)来生成新视点。在图55A中，用户看到由用户的MFP眼镜在空间中渲染的焦平面。在图55B中，在标称视点(0,0,0)5552周围的示例体积(dx，dy，dz)5554(诸如所示的示例立方体)内支持用户的运动视差。
运动视差改变了到标称视点(0，0，0)周围的焦平面的透视。如果用户移动离开标称点，则焦平面图像从稍微变化的视点被看到，并且可以被简单地平移(移位)并相应地缩放以创建正确的MFP渲染。每个坐标(x，y和z)可以在一定限度内变化以保持所产生的失真是可接受的。因此，可以在围绕标称视点的体积(例如图55B中所示的立方体)内支持运动视差。可以选择观看者的标称位置周围的立方体以支持3D运动视差(并捕获用户运动)。对于一些实施例，可以选择球体或其他形状来支持用于运动视差的用户运动的捕获。
图56A-56C是示出了根据一些实施例的针对不同视点而被移位和缩放的多焦平面的三个示例的示意性透视图。用户的运动可以改变他或她到焦平面的视点，如虚线中的改变所示。图56A至56C示出了用于改变运动视差立方体5604、5637、5664内的视点5602、5632、5662的几个示例视图5600、5630、5660。虚线表示视点改变到焦平面堆栈。通过相应地变换所述MFP，可以创建到所述MFP堆栈的新视点。用于进行变换的数学在某些方面可以类似于扭曲3D模型。对于一些实施例，可以用稍后解释的其他操作来近似变换。
立方体内的每个3D坐标或体素表示到焦平面堆栈(或用于立体显示器的堆栈对)的不同视点。对于这些视点中的每一个，进行原始MFP堆栈的变化(从标称视点观看)。因此，对于每个3D视点/体素，可以有唯一的MFP堆栈(其通过变换而被重新定向和缩放)。对于一些实施例，可预先导出并存储一组MFP堆栈。这些导出的MFP堆栈可以通过所捕获的运动信息来分类。
图57是示出了根据一些实施方式的用于在运动视差系统中生成多焦平面的示例过程的过程图。图57示出了用于单视场MFP形成、处理(例如，合成用于立体视觉和运动视差的视点)和渲染的过程5700。为了简单起见，仅针对一个观看者示出了产生运动视差效果。对于一些实施例，所述系统可以包括一个或多个可穿戴用户终端(诸如头戴式显示器，HMD)，使得每个用户能够单独地感知运动视差。一些实施例可以使用例如更多分布式或更多集中式架构。
纹理5702和深度(视频加深度)5704信号被接收作为到MFP形成块5706的输入，其使用从场景捕获的深度图(视频)形成多焦平面(MFP)。MFP被发送到差异形成块5708。
所述差异形成块5708使用一指定的基线定向和长度(例如，由x-y坐标系中的向量ri指示)创建合成的立体视点(或差异)。一些实施例可以使用差异的方向和量(≥0％)5710。例如，如果使用立体输入而使得单独的纹理和深度信号被用于每只眼睛，则一些实施例可以省略该阶段。
运动检测和跟踪(例如，利用外部传感器5714的惯性测量单元(IMU)5720和/或Kinect型5718)可以用来利用用于MFP渲染的标称观看设置(焦平面的尺寸和距离)来捕获相对于用户的初始观看位置的用户运动。在示例性过程5700和其他过程中，可以替代地或另外地使用其他运动检测和跟踪设备。横向运动视差块5712可以在x和y维中移位两个立体视点。每个MFP堆栈中的焦平面可以对应于它们的深度距离而被移位不同的量。
轴向运动视差模块5716可以通过根据所测量的与初始/标称位置和视点相关的轴向运动进行缩放和/或调整大小，调整焦平面。不同的焦平面可以被不同地缩放，因为它们对应于不同的距离。
如果观看广播类型的内容，则用户动作通常不会影响输入流(在捕获视图时使用的视点)。因此，在用户5724通过身体运动而经历运动视差之后，改变的视点可以通过选择的机制(延迟、速率、轨迹和时刻)而被迁移回到所述标称视点。
对于一些实施例，可以相对于焦平面显示器而测量关于观看者的位置的运动跟踪传感器读数，以生成头部定向信息。对于一些实施例，响应于生成所述头部定向信息，可以通过改变所述焦平面图像中的一者或多者来合成运动视差。
一些先前的设备在支持(自由基线)立体视觉和横向运动视差时使用MFP来进行视点改变。下面的部分描述了轴向运动视差。通过应用这两种情况，可以导出用于中间或组合运动的焦平面调整。例如，对于一些实施例，轴向运动视差可以通过缩放一个或多个焦平面来创建。
图58是示出了根据一些实施例的用于轴向移动的示例性焦平面缩放的示意性平面图。尽管图58是关于在轴向运动期间到MFP堆栈的单视场视点描述的，但是可以利用立体系统或方法中的每个视点的变换来执行相应的过程。如同平移运动一样，可以执行关于焦点图像的变换，以处理轴向运动。对于示例性单视场视点环境5800，如果观看者5810轴向地移动得更靠近MFP堆栈，则可以调整焦平面5808的边缘以向外移动(或移位)。如果观看者5810进一步轴向远离MFP堆栈移动，则可以调整焦平面5806的边缘以向内移动(或移位)。如果观看者5810轴向地移动靠近或远离MFP堆栈，则位于零视差设置(ZPS)5802处的焦平面5804的边缘保持在适当位置(或不被调整)。对于两个示例，由于轴向移动而引起的观看者5810的视点的变化被示出为虚线。图58示出了MFP的表观尺寸在轴向运动期间如何变化。显示了具有等量间隔的三种MFP。零视差设置(ZPS)5802位于最远的焦平面。如果产生立体差异或横向视差，则最远的焦平面不被移位，并且如果产生轴向运动视差，则最远的焦平面不被缩放。在示例性单视场视点环境5800中示出了单步轴向移动，但是可以利用类似的过程来支持多步轴向步进移动，该过程以与观看者5810移动的轴向步进的数量成比例的量来缩放MFP。
如果观看者5810轴向地移动一步(例如一个距离单元)靠近MFP堆栈，则焦平面5808的尺寸可以被调大一个单元(例如一个距离单元)。如果观看者5810沿轴向远离MFP堆栈移动一步，则焦平面5806的尺寸可以被调小一个单元。如果观看者5810轴向地移动靠近或远离MFP堆栈，则位于零视差设置(ZPS)5802处的焦平面5804的尺寸保持相同的尺寸(例如，或不变)。对于两个示例，由于轴向移动而引起的观看者5810的视点的变化被示出为虚线。
对于一些实施例，一个或多个焦平面图像的缩放变换可以通过围绕其中心对称地调整焦平面的大小来近似，使得图像的纵横比被保留。如在产生立体差异时，通过焦平面图像分辨率的小改变(递增或递减多达一阈值，例如5个像素的改变)来获得运动视差的小改变。对于具有较高分辨率图像的一些实施例，可使用较高阈值。
如果调整图像大小，则该图像的顶部和底部边缘可以在相反方向上移动一定量(该图像的垂直大小改变了数个像素)。MFP的缩放因子可以作为深度的函数而线性地改变，例如图58的示例中所示，该线性改变导致了数组所变换的MFP和一组沿着视轴的可应用的观看位置(焦点)。调整量取决于焦平面在深度上的位置(距离)，使得最远平面不被调整(如同最远平面位于远离观看者的无穷远处)。对于一些实施例，与最远的焦平面S相邻的焦平面被缩放一个单元(或像素倍数)。在一些实施例中，下一个最接近的焦平面可以按两个单元缩放。对于一些实施例，其余焦平面的缩放量可以遵循渐进更近焦平面的这个范例。
下面针对N个焦平面(MFP)的缩放，描述了根据一些实施例的用于缩放MFP的示例性过程。对于该描述，所述焦平面被均匀的距离分开，并且使用作为距离的函数的线性增量和减量。对于一些实施例，非均匀间隔可以与作为距离的函数的非线性增量和减量一起使用。非线性缩放(在屈光尺度上是线性的)可以用于产生用户的线性感知。对于沿视轴的多个不相等的步长，可获得焦平面(或数组MFP)的大小。该示例过程可以例如用于验证尺寸调整。对于一些实施例，可以执行更精确的几何操作。
如果观看者向MFP堆栈移动一步，则最远焦平面(FP1)是零视差平面(“无穷大”)并且不被缩放(或调整大小)。因此，FP1被调整0个单元。对于其余的焦平面(FP2,FP3,…,FPN)，每个焦平面FPi被调大(i-1)个单元，其中i∈(2,3,…,N)。可以对更靠近MFP堆栈的每一步，重复该调整过程。
如果观看者移动一步远离MFP堆栈，则最远焦平面(FP1)是零视差平面(“无穷大”)并且不被缩放(或调整大小)。因此，FP1被调整0个单元。对于其余的焦平面(FP2,FP3,…,FPN)，每个焦平面被调小(i-1)个单元，其中i∈(2,3,…,N)。对于更远离MFP堆栈的每个步，可以重复该调整过程。
对于一些实施例，可以通过用方程3中所示的增大的缩放因子来缩放高度，从而增大焦平面的高度的大小：
其中Vres是所述焦平面的垂直分辨率。类似地，可以通过用方程4中所示的减小的缩放因子来缩放高度，从而减小焦平面的高度的大小：
其中Vres是所述焦平面的垂直分辨率。调整用于增量和减量的焦平面的宽度以保持调整之前的纵横比。
对于一些实施例，使用上述过程而移动数步在度量尺度上不是线性的。物理距离可以取决于标称观看条件，这其中包括每个焦平面(MFP)的位置、大小和距离。另外，物理距离可以取决于(输入)内容属性，例如所选择的零视差设置(ZPS)以及深度图与物理距离之间的对应。
使用根据一些实施例的示例性过程，所使用的焦平面图像分辨率和单元大小可确定沿视轴的位置，其中在变换之后，看到的焦平面是对准(“聚焦”到视点)。这些点可以用于在用户运动期间渲染内容。
图像分辨率越高并且单元尺寸越小，所确定的轴向(聚焦)位置之间的差异越小。与图像分辨率一起使用的单元大小可以实验地验证和/或从几何形状计算，使得焦点的密度支持感知流畅的运动视差。
移位和缩放伪像可以将轴向视差(运动)限制到用户确定为合理的小量。该量可以被设定为小数量的步长(或轴向位置)。可以从几何形状(例如图58所示的几何形状)近似出步长位置和尺寸(物理距离)。
对于一些实施例，不设置标称观看位置和焦平面距离。对于一些实施例，设置用于MFP尺寸调整的单元尺寸可以确定轴向上的步长位置和尺寸(焦点和相关距离)。对于一些实施例，所述步长可以线性地映射到距离，而没有由用户确定的自然性的降级。
对于一些实施例，运动视差效应可能未被校准到物理位置，这可发生诸如3D内容产生的条件(其可以包括差异和深度范围)未被标准化或设置的情况下。一些用户可能对关于(轴向)运动视差的自然性的感知的深度信息相对不敏感。
图59A-59C是示出根据一些实施例的示例焦平面内容在轴向运动期间的示例变换的示意平面图。图59A示出了用于观看者的左眼的示例差异移位5902的标称“开始”点的MFP配置5900。类似于使用图59A的单视场视图的过程可应用于缩放立体观看者中的右眼视图。距离dk表示向量的焦平面距离，其中k等于1,2,…,N。距离de表示示例MFP变换(或平移)的差异距离向量。坐标(xk,yk)表示焦平面k的像素的原始坐标。坐标(xk′,yk′)5904表示变换(或一些实施例的平移)之后但在缩放之前，焦平面k的像素的坐标。坐标(xk′,yk′)5904被示出在三个焦平面的示例性左眼视点的焦平面FN上。图59A到59C示出了N等于三的示例的焦平面F1,F2,…,FN。
图59B示出了用于观看者移动靠近MFP堆栈的轴向移动的MFP配置5930。观看者轴向移动，如运动向量dz5932所示。所述三个焦平面的左眼视点示出了图59B中的每个焦平面比图59A中的大。由于观看者移动靠近MFP堆栈，所以左眼视点被平移。
图59C示出了用于在不改变焦平面距离的情况下近似轴向运动的焦平面变换的MFP配置5960。所述三个焦平面的左眼视点示出了变换之后像素坐标的变化。坐标(xk″,yk″)5962指示在变换(或对于一些实施例为平移)之后和在缩放之后焦平面k的像素的坐标。
保持相关参数的较早概念，并且通过(xk″,yk″)来表示缩放变换之后焦平面k上的像素的坐标，缩放可以如方程5所示：
(xk″,yk″)＝S(xk′,yk′,dz,de) 方程5
其中S是使用每个焦平面中心作为固定点的均匀缩放变换。
对于轴向运动，可以调整焦平面大小，以经由环境的渲染视图而向用户提供关于物理空间和坐标的变换的幻觉。如果经历轴向运动视差，焦平面渲染过程可以不改变调节距离。相应地，没有对MFP显示器的光学或机械结构进行调整。该过程不同于真实世界的情况，使得观看者的调节距离对应于他或她距聚焦对象的距离而改变。然而，不产生VAC，并且如果用于体验运动视差的(所支持的)移动较小，则缺乏调节改变不会降低用户的自然体验。
一些实施例可以支持常规2D显示器(代替MFP显示器或除MFP显示器之外)的运动视差效应。使用2D显示器可以避免MFP显示器的复杂性，但是用户可能遭受VAC的困扰。一些实施例可以通过对两个或更多个MFP进行汇总来支持2D显示。对2D显示器的支持将在后面详细描述。
如果对轴向移动的支持具备对横向(侧向)移动和自由基线(自由头部倾斜)运动视差的支持，则可在没有VAC的情况下，提供使用焦平面渲染的围绕标称视点的逼真3D运动视差。
在一些实施例中，在没有接收新标称视点的新数据的情况下，围绕主要固定(标称)视点的相对运动不改变视点。观看设置可以与观看广播内容相当，但是根据一些实施例的本文公开的观看设置可以通过允许小的移动和相应的视点/视差改变(诸如3DOF+功能)来支持用户交互。
所支持的用户功能可能不会影响所接收内容的标称或固有视点。例如，如果用户改变他或她的座位或在房间中走动，则可以以相同的方式为用户环境中的每个观看位置支持小的运动视差。如果用户移动，则标称视点跟随他或她的平均位置。对于一些实施例，视点返回到标称视点(对于一些实施例，其可以在产生运动视差之后具有延迟)。返回到从标称视点观看可以基于用户的手动输入和/或自动策略。
图60是示出根据一些实施例的在用户运动期间的视点坐标的示例跟踪的曲线图。大的位置变化可以被处理为例如用户的就座位置的变化，并且可以不跟随有视差的小的调整。相反，视点可以返回到所接收内容的标称视点，而没有任何视差变化。可以利用相应的虚拟视点变化来处理小的运动。如果小的运动变化更持久，例如用户将他或她的身体靠在靠背上，则对于一些实施例，所述标称视点以某个变化率返回到标称视点。
图60中的图示出了用于在用户运动期间控制视点坐标(例如，轴向)的示例性控制策略。图60示出了在不同时间步长与标称值相比的坐标变化。对于示例性曲线图6000，零线表示标称值，并且曲线图的迹线具有与标称值相比较的测量差值6004。在时间步长28和40之间(6002)，坐标值朝0减小。在时间步长67(6006)，用户移动超出最大和最小视差限制6008、6010，并且用户移动的跟踪被重置为零。与关于图60使用的示例视点控制过程类似的视点控制过程可以用于坐标系的每个轴(例如，一个轴向坐标值和两个横向坐标值)。
对于一些实施例，所述坐标可以饱和到最大值(或最小值)，并且在用户运动停止之后(例如，在观看者坐在不同的椅子上之后)使每个坐标系轴朝向零漂移。对于一些实施例，如果用户运动超出最大和最小限制，并且如果用户的观看方向超出最大和最小限制，则用户的视点可返回到标称视点。对于一些实施例，改变他或她的观看方向的用户表现为焦平面的横向(x-y)移位，并且在运动停止或超过最大值或最小值之后，用户的视点可以返回到标称视点。将理解，将用户的视点返回到标称视点的过程可以是手动交互过程、自动过程或手动和自动过程的组合。根据一些实施例，可以开发用于控制3D运动视差的适用策略。
对于一些实施例，用于从单视场MFP堆栈合成立体或移位视点的所述过程可以被扩展到其它配置，例如使用真实(例如，与合成的相对)立体MFP堆栈的运动视差、使用合成的立体MFP堆栈的运动视差、使用MFP在2D显示器上的投影和渲染的运动视差、以及作为真实立体MFP堆栈、合成的立体MFP堆栈和与2D显示器一起使用的MFP的组合的MFP形成。
图61是示出根据一些实施例的用于生成一组真实立体的多焦平面的示例过程的过程图。图61示出了使用真实立体输入的运动视差MFP生成和渲染过程6100。右眼MFP形成过程6110接收右眼的纹理6102和深度图6104。左眼MFP形成过程6112接收左眼的纹理6102和深度图6108。对于一些实施例，将右眼和左眼的MFP发送到横向差异调整过程6114。该横向差异调整过程6114可以接收用于方向和量(≥0％)的差异调整6116，以调整MFP的视点分离。立体MFP输入的使用可以限制基线MFP的重定向和调整。MFP的渲染被锚定到空间中的一位置和方向。将调整后的用于左眼和右眼的MFP发送到所述横向视差调整过程6118。运动跟踪过程6120可以将用户运动数据发送到所述横向视差调整过程6118，以及发送到针对轴向视差缩放调整过程6122、6124。运动数据可以表示为相对于在空间中锚定的MFP的标称视点和方向捕获的x(t)和y(t)数据。对于一些实施例，例如，惯性运动单元(IMU)6130和/或Kinect型单元6132可用于测量运动数据。所述横向视差调整过程6118可以平移MFP用于横向运动视差(例如，用于视差的水平视点改变)。可以针对来自新视点的轴向视差，相对于彼此缩放焦平面。用于右眼和左眼的横向视差调整的MFP可以由用于轴向视差缩放调整的过程6122、6124接收。用于右眼的缩放的MFP可以由MFP渲染过程6126接收。同样，可以通过MFP渲染过程6128接收用于左眼的缩放的MFP。所述MFP被渲染和显示用于用户6134的真实立体观看的新视点/视角。对于一些实施例，合成的运动视差可以包括使用指示用户/观看者的轴向运动的信息(诸如运动跟踪数据)来相对于彼此缩放多焦平面。
图62是示出了根据一些实施例的用于生成合成立体的一组多焦平面的示例过程的过程图。图62示出了用于生成合成的立体MFP堆栈的运动视差MFP生成和渲染过程6200。MFP形成过程6206接收用于单视场视图的纹理6202和深度图6204。MFP被发送到横向差异形成过程6208。该横向差异调整过程6208可以接收用于方向和量(≥0％)6210的差异调整，以调整MFP的视点间隔。MFP的渲染被锚定到空间中的一位置和方向。所述横向差异形成过程6208生成用于左眼和右眼(例如，具有基线定向)的MFP，其被发送到横向视差调整过程6212。对于一些实施例，可以选择横向或轴向视点改变之前的任何基线定向以支持差异形成。运动跟踪过程6214可以将用户运动数据发送到所述横向视差调整过程6212，并且发送到针对轴向视差的缩放调整过程6216、6218。运动数据可以表示为相对于在空间中锚定的MFP的标称视点和方向捕获的x(t)和y(t)数据。对于一些实施例，例如，惯性运动单元(IMU)6224和/或Kinect型单元6226可用于测量运动数据。所述横向视差调整过程6212可以平移MFP用于横向运动视差(例如，用于视差的水平视点改变)。可以针对来自新视点的轴向视差，相对于彼此缩放焦平面。用于右眼和左眼的横向视差调整的MFP可以由用于轴向视差的缩放调整过程6216、6218接收。用于右眼的缩放的MFP可以由MFP渲染过程6220接收。同样，可以通过MFP渲染过程6222接收用于左眼的缩放的MFP。所述MFP被渲染并显示用于用户6228的合成立体观看的新视点/视角。捕获单视场视图可以在传输中使用较少的带宽。此外，如果在接收机中合成两个视点，则可以以选择的基线定向和差异量形成该两个视点，并且支持对于任何头部倾斜的立体视觉和对于深度感知的个人偏好。在合成所述视图时可能生成一些伪像，但是可以通过使用焦平面的重新分布和/或扩展来减少这些伪像。
图63是示出了根据一些实施例的用于生成和汇总一组多焦平面以用于二维显示器的示例过程的过程图。图63示出了用于生成和汇总一组MFP堆栈以用于2D显示器的运动视差MFP生成和渲染过程6300。MFP、差异和视差形成过程6306接收用于单视场视图的纹理6302和深度图6304。所述MFP、差异和视差形成过程6306可以接收用于方向和量(≥0％)的视差调整6308，以调整MFP的视点分离。可以相对于空间中的一位置和方向，生成MFP。运动跟踪过程6310可以将用户运动数据发送到所述MFP、差异和视差形成过程6306。运动数据可以表示为相对于锚定在空间中的MFP的标称视点和方向捕获的x(t)、y(t)和z(t)数据。对于一些实施例，例如，具有近眼显示器(NED)眼镜6316的惯性运动单元(IMU)和/或具有例如平面屏幕6318的Kinect型单元可用于测量运动数据。对于一些实施例，所述MFP、差异和视差形成过程6306可执行以下过程中的一者或多者，包括：形成MFP，调整MFP以用于横向差异，调整MFP以用于横向运动视差(视差的水平视点改变)，以及缩放以用于轴向视差。可以针对来自新视点的轴向视差，相对于彼此缩放焦平面。所述MFP通过一汇总MFP过程6312而被汇总。所汇总的MFP由2D NED或平面屏幕6314渲染和显示，以供用户6320查看。对于一些实施例，2D显示器可能缺乏对自然调节的支持，但是示出了跟随用户运动的运动视差效果。对于一些实施例，立体三维(S3D)显示可用于渲染和显示所汇总的MFP。
图64、65和66示出了用于将MFP投影并汇总到2D显示器的一些实施例。图64是示出了根据一些实施例的用于生成和汇总一组多焦平面以用于单目2D显示器的示例过程的过程图。图64示出了运动视差MFP生成和汇总过程6400。MFP形成过程6406接收用于单视场视图的纹理6402和深度图6404。MFP被发送到横向视差调整过程6408。将调整后的MFP发送到横向视差调整过程6408。运动跟踪过程6410可将用户运动数据发送到所述横向视差调整过程6408和轴向视差的缩放调整过程6412。运动数据可以表示为相对于在空间中锚定的MFP的标称视点和方向捕获的x(t)和y(t)数据。对于一些实施例，惯性运动单元(IMU)6418和/或Kinect型单元6416可用于测量运动数据。所述横向视差调整过程6408可以平移MFP以用于横向运动视差(用于视差的水平视点改变)。可以针对来自新视点的轴向视差，相对于彼此缩放焦平面。横向视差调整的MFP可以由用于轴向视差的缩放调整过程6412接收，以缩放所述MFP。可以通过一汇总MFP过程6414接收所缩放的MFP。通过一汇总MFP过程6414对所述MFP进行汇总。所汇总的MFP由2D NED或平面屏幕6420(单目2D显示器)渲染和显示以便由用户6422观看。
图65是示出根据一些实施例的用于生成和汇总一组多焦平面以用于真实立体三维(S3D)显示器的示例过程的过程图。在一些实施例中，可以支持基线改变，其中限制用于真实立体3D输入。输入立体视点(例如，基线定向)可以对稍后的视点改变(例如，横向或轴向改变)施加一些限制。图65示出了使用真实立体输入的运动视差MFP生成和汇总过程6500。右眼MFP形成过程6510接收右眼的纹理6502和深度图6504。左眼MFP形成过程6512接收左眼的纹理6502和深度图6508。对于一些实施例，将右眼和左眼的MFP发送到横向差异调整过程6514。横向差异调整过程6514可以接收用于方向和量(≥0％)的差异调整6516，以调整MFP的视点间隔。立体MFP输入的使用可以限制基线MFP的重定向和调整。可以相对于空间中的位置和方向，生成MFP。将调整后的左眼和右眼的MFP发送到横向视差调整过程6518。运动跟踪过程6520可以将用户运动数据发送到所述横向视差调整过程6518，并且发送到轴向视差缩放调整过程6522、6524。运动数据可以表示为相对于在空间中锚定的MFP的标称视点和方向捕获的x(t)和y(t)数据。对于一些实施例，惯性运动单元(IMU)6530和/或Kinect型单元6532可用于测量运动数据。所述横向视差调整过程6518可以平移MFP用于横向运动视差(用于视差的水平视点改变)。可以针对来自新视点的轴向视差，相对于彼此缩放焦平面。用于右眼和左眼的横向视差调整的MFP可以由用于轴向视差的缩放调整过程6522、6524接收。可以通过用于右眼的汇总MFP过程6526来接收用于右眼的缩放的MFP。通过用于右眼的汇总MFP过程6526来对用于右眼的MFP进行汇总。同样，可以通过针对左眼的汇总MFP过程6528接收针对左眼的缩放的MFP。通过用于左眼的汇总MFP过程6528来对用于左眼的MFP进行汇总。将针对右眼和左眼这两者的汇总的MFP发送到2D NED或平面屏幕6534(单目2D显示器)，以便渲染和显示给用户6536。
图66是示出根据一些实施例的用于生成和汇总的一组多焦平面以用于合成立体三维(S3D)显示器的示例过程的过程图。图66示出了运动视差MFP生成和汇总过程6600。MFP形成过程6606接收用于单视场视图的纹理6602和深度图6604。MFP被发送到横向差异形成过程6608。所述横向差异调整过程6608可以接收用于方向和量(≥0％)的差异调整6610，以调整MFP的视点间距。可以相对于空间中的位置和方向生成MFP。所述横向差异形成过程6608生成用于左眼和右眼的MFP，其被发送到横向视差调整过程6612。运动跟踪过程6614可将用户运动数据发送到所述横向视差调整过程6612，并且发送到轴向视差缩放调整过程6616、6618。运动数据可以表示为相对于在空间中锚定的MFP的标称视点和方向捕获的x(t)和y(t)数据。对于一些实施例，惯性运动单元(IMU)6626和/或Kinect型单元6628可以用于测量运动数据。所述横向视差调整过程6612可以平移MFP用于横向运动视差(视差的水平视点变化)。可以针对来自新视点的轴向视差相对于彼此缩放焦平面。用于右眼和左眼的横向视差调整的MFP可以由用于轴向视差缩放调整过程6616、6618接收。右眼的缩放的MFP可以由右眼的汇总MFP过程6620接收。通过右眼的汇总MFP过程6620来对右眼的MFP进行汇总。同样，可以通过针对左眼的汇总MFP过程6622来接收针对左眼的缩放的MFP。通过用于左眼的汇总MFP过程6622来对用于左眼的MFP进行汇总。将用于右眼和左眼的汇总MFP发送到S3DNED或平面屏幕6624，以便渲染和显示给用户6630。通过对MFP汇总以生成可以由外部立体显示器或单视场显示器显示的2D显示数据，可以提供对具有2D显示数据的运动视差效应的支持。
对于使用单视场显示器的一些实施例，外部运动跟踪传感器可以用于跟踪用户运动，并且用户可以不佩戴快门眼镜。对于使用立体三维(S3D)显示器的一些实施例，用于跟踪用户运动的传感器(例如IMU)可嵌入快门眼镜等中。对于使用S3D显示的一些实施例，可能会产生一些聚散-调节(VAC)失配。如果观看距离与显示器尺寸相比较长(例如，与立体电视的正常观看距离相比)，则这种失配较小。对于一些实施例，关于定向焦平面图像的显示可以包括组合(诸如汇总)移位的焦平面图像，以生成立体图像对。
图67是示出了根据一些实施例的用于生成具有前端处理路径和显示端路径的多焦平面的示例过程的过程图。图67示出了使用真实立体输入的运动视差MFP生成和汇总过程6700。对于前端过程6702的一些实施例，纹理6706和深度图6708可由具有深度混合的MFP形成过程6714接收。如前所述，可以使用深度混合(加权)来生成MFP，以减少MFP在深度维度上的量化效应。对于前端过程6704的一些实施例，纹理6710和深度图6712可由具有重新分布的MFP形成过程6716接收。如前所述，可以使用MFP重分配来生成MFP。
对于一些实施例，深度混合和/或重新分布的MFP可以被发送到差异形成过程6718。该差异形成过程6718可以接收用于方向和量(≥0％)6720的差异调整，以调整所述MFP的视点间隔。调整后的MFP可以被发送到横向视差形成过程6722。运动跟踪过程6724可以将用户运动数据发送到所述横向视差形成过程6722和轴向视差缩放调整过程6726。运动数据可以表示为相对于在空间中锚定的MFP的标称视点和方向捕获的x(t)和y(t)数据。对于一些实施例，惯性运动单元(IMU)6730和/或Kinect型单元6732可以用于测量运动数据。所述横向视差形成过程6722可以平移MFP用于横向运动视差(用于视差的水平视点改变)。所述轴向视差缩放调整过程6726可以接收所平移后的MFP用于缩放。可以针对来自新视点的轴向视差，相对于彼此缩放焦平面。对于一些实施例，所述前端可包括用诸如Narain中公开的方法等已知方法形成的焦平面6742(例如，没有深度图)的直接输入，且所述处理阶段6718、6720、6722、6724、6726中的一者或多者可如上所述那样被使用。
对于显示路径1的一些实施例，MFP渲染过程6728可以接收缩放的MFP以显示给用户6738。对于显示路径2的一些实施例，可以通过用于对接收的MFP进行汇总的汇总MFP过程6734来接收所缩放的MFP。所汇总的MFP可以由2D NED或平面屏幕显示器6736接收，用于向用户6740渲染和显示内容。
图68A-68J是示出根据一些实施例的每组图像对(例如，图68C和68D)之间的轴向移动的一系列示例右图像和左图像的图示。图68A-68J示出了使用图58所示的布置和上述焦平面尺寸调整过程的在轴向运动期间的一系列交叉眼立体图。图68A至68J是在以下网页上找到的图像及其深度图的修改版本：File:2D plus depth.png,WIKIPEDIA,//commons.wikimedia.org/w/index.php？curid＝5489771(最后访问时间为2019年2月22日)。具有线性深度混合的三个MFP用于图68A到69J的示例序列。2个像素的单元大小用于图像缩放调整。所使用的测试图像是具有157×436像素分辨率的花。对于低分辨率焦平面图像，用户可以发现2个像素的单元大小是合理的。较高分辨率的焦平面图像可使用较大的单元尺寸。
在形成单目MFP堆栈之后，通过水平移位焦平面来合成立体差异。对于交叉眼立体图的示例序列，从后到前(后、中和前)的三个平面分别被移位0、2和4个像素。对于左眼视图6810、6830、6850、6870、6890，向右移位，对于右眼视图6800、6820、6840、6860、6880，向左移位。总的合成差异对应于图像宽度的1.8％。在针对立体差异进行移位之后，缩放所述焦平面以产生轴向运动视差，如图67所示，从上向下观看图68A到68J中的序列对应于进一步远离场景移动。图68A到68J中的所有视图都是通过从一个单视场MFP堆栈的移位而被形成的。在该示例中未示出横向视差。
应用上述示例性过程来缩放三焦平面测试图像，对于以标称观看点d0为中心的五个轴向运动(+2、+1、0、-1和-2步长)，可获得表1和2中列出的垂直分辨率高度。实际的缩放因子可以通过将表值除以Vres来获得。
表1
表2
表3示出了相对于轴向位置di的垂直分辨率调整。调整水平分辨率以保持在调整之前的纵横比。用于缩放的单元尺寸是两个像素(相应的焦平面边缘被对称地移位一个像素)。左眼视图和右眼视图(焦平面图像)的大小在标称视点d0中相同(对于该示例为157×436像素)。在运动期间，对于最远的焦平面PFback，尺寸保持不变(157×436像素)，其被处理为无穷大。
如表3所示，对于轴向运动(位置di)，缩放对于左眼焦平面和右眼焦平面(由于差异而被移位)是相同的。对于原始测试图像，Vres＝157像素。在缩放之后，在表3中示出了五个不同视点的左右焦平面(FP1、FP2、FP3)的垂直分辨率。位置d0是标称视点。
表3
通过将表3中的值除以Vres＝157来获得用于焦平面大小的实际缩放因子。通过将这些缩放值应用于测试图像的三个焦平面，获得用于轴向运动的一系列交叉眼睛立体图，如图68A-68J所示。从上向下看，图68A到68J中的序列对应于进一步远离场景移动。图68A和68I中示出了黑色矩形以给出缩放的参考。每个行对(例如，图68C和68D)对应于沿着相同观察方向(或轴)的位置。图68A到68J展示了运动视差效应。
轴向上的步长大小(对应于图68A-68J的每一行的物理距离，例如图68C和68D形成了示出该序列的一个交叉眼立体视图的行)可由所使用的分辨率和单元大小确定。该示例示出了具有合成差异(基于将焦平面移位选定量)的立体对的轴向视差(基于焦平面的缩放)。可以通过应用与形成(横向)差异相同(或相似)的变换来创建横向视差。任何结合横向和轴向分量的3D运动可以通过应用示例中使用的变换(或一些实施例的近似)来确定。
如果从标称位置观看焦平面，则可以在相同的立体角/空间角度内看到所有焦平面。由于未调整的焦平面分辨率相同，一个像素占据相同的立体角，并且可以对到所感知的MFP渲染(或投影，如图68A-68J所示)的焦平面进行汇总。如果调整合成运动视差的焦平面大小，则可在汇总之前调整分辨率和大小。所述像素可以相对于彼此移位子像素量。为了使对应像素的汇总准确，可以执行图像的内插以获得子像素值。
对于图68A-68J所示的序列，立体图的零视差设置和轴向运动视差的消失点是最远焦平面。轴向运动视差可以通过调整所有焦平面的尺寸来扩展。这种情况对应于将零视差平面置于所有焦平面之后，并使用针对一较低焦平面而导出的缩放因子，例如，如表2所示，对FP1使用FP2的缩放因子。结果是较小用户运动可具有较强运动视差效果。
图69是示出根据一些实施例的示例过程的流程图。过程6900的一些实施例可包括接收6902具有深度信息的输入图像。所述过程6900还可包括将输入图像映射6904到多个焦平面图像。所述过程6900还可包括使用头部定向信息来定向6906多个焦平面图像以提供左眼和右眼之间的立体差异。所述过程6900还可包括显示6908经定向的多个焦平面图像。一些实施例可以包括具有一个或多个运动跟踪传感器、处理器和存储指令的非暂时性计算机可读介质的设备，当在处理器上执行所述指令时，所述指令可操作以执行过程6900。对于一些实施例，所述过程6900可由具有多焦平面(MFP)显示器的设备执行。
图70是示出根据一些实施例的示例过程的流程图。过程7000的一些实施例可以包括接收7002关于三维(3D)内容的描述。所述过程7000还可以包括从跟踪器接收7004指示观看者相对于他或她的真实世界环境的运动的信息。所述过程7000还可以包括响应于接收到指示观看者的运动的所述信息，通过改变使用包括例如纹理和深度信息的所述3D内容而形成的多焦平面来合成7006运动视差。所述过程7000还可以包括使用所改变的多焦平面渲染，将图像渲染7008到多焦平面显示器。一些实施例可以包括具有一个或多个运动跟踪传感器、处理器和存储指令的非暂时性计算机可读介质的设备，当在处理器上执行所述指令时，所述指令可操作以执行所述过程7000。对于一些实施例，所述过程7000可以由具有多焦平面(MFP)显示器的设备执行。
虽然在虚拟现实(VR)和增强现实(AR)的上下文中讨论了根据一些实施例的方法和系统，但是一些实施例也可以应用于混合现实(MR)、增强现实(AR)和虚拟现实(VR)上下文。此外，尽管根据一些实施例在本文中使用术语“头戴式显示器(HMD)”，但是对于一些实施例，一些实施例可以应用于能够例如VR、AR和/或MR的可穿戴设备(其可以附接到头部或者可以不附接到头部)。
对于一些实施例，术语“差异向量”指的是例如通过移位和投影MFP形成的合成立体对中的对应像素的最大间隔(具有方向)。由于几何形状，对于最靠近观看者的焦平面，出现最大移位。该最大移位的量和方向被称为“差异向量”。
在文献中，两个图像(左和右)的每个相应像素的空间分离可以由亮度值来表示。这通常被称为“差异图像”。在本申请中，在一些实施例中，与文献不同，“差异图像”例如是MFP堆栈，其偏斜一定量(其可以由差异向量指示)、投影、以及汇总到视点。
对于一些实施例，3D内容包括例如深度图和纹理图像。对于一些实施例，纹理图像包括3D模型和/或内容到所选视点的投影。对于一些实施例，渲染到MFP显示器可以是用于单视场(例如，单视场MFP堆栈)格式、真实立体(例如，两个单视场MFP堆栈相应地用于右和左眼点)格式、或合成立体(例如，通过移位而合成的两个MFP堆栈)格式。
根据一些实施例的示例方法可以包括：接收具有深度信息的输入图像；使用所述深度信息将所述输入图像映射到多个焦平面图像；使用头部定向信息来定向所述多个焦平面图像以提供左眼与右眼之间的立体差异；以及显示所定向的多个焦平面图像。
在示例方法的一些实施例中，至少接收所述输入图像和显示所定向的多个焦平面图像由多焦平面(MFP)显示器执行。
在示例性方法的一些实施例中，定向所述多个焦平面图像可以包括旋转所述多个焦平面图像中的一者或多者。
在示例方法的一些实施例中，旋转所述多个焦平面图像中的一者或多者可以包括相对于平行于水平线的向量，旋转所述焦平面图像中的一者或多者的差异向量。
在示例性方法的一些实施例中，对所述多个焦平面图像进行定向可以包括移位所述多个焦平面图像中的一者或多者。
在示例方法的一些实施例中，移位所述多个焦平面图像中的一个或多个焦平面图像可以包括：缩放相应的一个或多个焦平面图像的差异向量。
在示例性方法的一些实施例中，移位所述多个焦平面图像中的一者或多者可包括：相对于固定原点，旋转所述多个焦平面图像中的一者或多者。
在所述示例方法的一些实施例中，移位所述多个焦平面图像中的一者或多者包括：将所述多个焦平面图像中的一者或多者相对于固定原点移动一偏移量。
示例方法的一些实施例还可以包括处理所述多个焦平面图像以处理由移位所述焦平面图像引起的图像差异(例如，以减少去遮挡或孔洞)。
在示例性方法的一些实施例中，处理所述多个焦平面图像可以包括：滤波一个或多个所述焦平面图像。
在示例方法的一些实施例中，处理所述多个焦平面图像包括：确定所述多个焦平面图像中的至少一者的深度混合权重；以及使用相应的深度混合权重，生成所述多个焦平面图像中的至少一者。
在示例方法的一些实施例中，生成所述多个焦平面图像中的至少一者包括：将多个纹理中的至少一者乘以相应的深度混合权重。
在示例方法的一些实施例中，显示所定向的多个焦平面图像可以包括：组合所移位的焦平面图像，以生成立体图像对。
示例方法的一些实施例还可以包括测量观看者相对于真实世界环境的位置的运动跟踪传感器读数，以生成所述头部定向信息。
示例方法的一些实施例还可以包括：响应于生成所述头部定向信息，通过改变所述多个焦平面图像中的一者或多者来合成运动视差。
在示例方法的一些实施例中，所合成的运动视差可以包括：使用所述头部定向信息相对于彼此缩放所述多个焦平面图像中的一者或多者，并且所述头部定向信息可以指示轴向运动。
示例方法的一些实施例还可以包括：针对低频内容，对所述输入图像进行滤波；以及将所述低频内容重新分布到所述多个焦平面图像。
示例方法的一些实施例还可以包括：针对高频内容，对所述输入图像进行滤波；以及将所述高频内容分解到所述多个焦平面图像。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在所述处理器上执行时可操作以执行上述示例方法中的一者。
根据一些实施例的示例方法可以包括：接收关于三维(3D)内容的描述；从跟踪器接收指示观看者相对于真实世界环境的运动的信息；响应于接收到指示所述观看者的运动的所述信息，通过改变所述3D内容的多焦平面来合成运动视差；以及使用改变的多焦平面渲染，将图像渲染到多焦平面显示器。
在示例方法的一些实施例中，所合成的运动视差可以包括使用指示观看者的运动的信息来相对于彼此缩放所述多焦平面，并且观看者的运动可以是轴向的。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行上述示例方法中的一者。
根据一些实施例的示例方法可以包括：确定映射到输入图像的多个焦平面图像；使用头部定向信息来定向所述多个焦平面图像以提供左眼与右眼之间的立体差异；以及显示所定向的多个焦平面图像。
在示例方法的一些实施例中，确定所述多个焦平面图像包括：接收所述多个焦平面图像。
在示例方法的一些实施例中，确定所述多个焦平面图像包括：将所述输入图像映射到所述多个焦平面图像，以生成所述多个焦平面图像。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行上述示例方法中的一者。
根据一些实施例的示例方法可以包括：接收三维(3D)视频内容；接收观看者定向信号；使用所述3D视频内容和所述观看者定向信号来确定显示器的一个或多个焦平面的图像数据；以及使用所述图像数据，将一个或多个焦平面图像渲染到所述显示器。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行上述示例方法。
根据一些实施例的示例方法可以包括：接收关于多焦平面MFP显示器的能力的描述；接收三维(3D)视频内容；接收观看者定向信号；使用所述3D视频内容和所述观看者定向信号，计算所述MFP显示器的一个或多个焦平面的图像数据；以及使用所计算的图像数据，将一个或多个MFP图像渲染到所述MFP显示器。
在示例方法的一些实施例中，所述3D视频内容可以包括一个或多个纹理图像和对应的深度图。
示例方法的一些实施例还可以包括对所述深度图进行滤波。
在示例方法的一些实施例中，计算一个或多个焦平面的图像数据可以包括：从所述3D视频内容提取一个或多个图像；计算一个或多个焦平面的深度混合权重；通过由所述深度混合权重重新映射所述深度图来产生一或多个MFP权重图；将一个或多个图像乘以每个MFP权重图以形成每个焦平面图像；并对每个焦平面图像执行空间移位。
在示例性方法的一些实施例中，关于所述MFP显示器的能力的所述描述可以包括焦平面的数量和位置。
在示例方法的一些实施例中，计算一个或多个焦平面的图像数据可以包括：使用所述3D视频内容，计算所述MFP显示器的一个或多个焦平面的一个或多个MFP图像；以及移位一个或多个计算的MFP图像。
在示例性方法的一些实施例中，移位一个或多个计算的MFP图像可以包括：缩放一个或多个所述MFP图像的差异向量。
在示例性方法的一些实施例中，移位一个或多个计算的MFP图像可以包括：相对于平行于水平线的向量，旋转一个或多个所述MFP图像的差异向量。
在示例性方法的一些实施例中，移位一个或多个计算的MFP图像可包括：平移一个或多个所述MFP图像。
在示例方法的一些实施例中，计算一个或多个焦平面的图像数据可以包括：使用所述3D视频内容，计算所述MFP显示器的一个或多个焦平面的一个或多个MFP图像；3D扭曲一个或多个计算的MFP图像；以及在一个或多个计算的MFP图像上，执行孔洞填充。
根据一些实施例的示例方法可以包括：接收三维视频内容；使用所述三维视频内容，针对多焦平面(MFP)的数目和位置，计算一个或多个多焦平面图像；接收观看者定向信号；使用所述一个或多个MFP图像和所述观看者定向信号，计算立体显示器的每个视图的一个或多个差异图像；以及将所述一个或多个差异图像渲染到所述立体显示器。
在示例方法的一些实施例中，所述三维视频内容可以包括一个或多个纹理图像和对应的深度图。
示例方法的一些实施例还可以包括对所述深度图进行滤波。
在示例方法的一些实施例中，计算一个或多个焦平面的图像数据可以包括：从所述3D视频内容提取一个或多个图像；计算一个或多个焦平面的深度混合权重；通过由所述深度混合权重重新映射所述深度图来产生一或多个MFP权重图；将一个或多个图像乘以每个MFP权重图，以形成每个焦平面图像；以及对每个焦平面图像执行空间移位。
在示例方法的一些实施例中，将一个或多个差异图像渲染到所述立体显示器包括：将每个空间移位的焦平面相加以生成用于所述一个或多个差异图像中的每一者的立体图像对。
示例方法的一些实施例还可以包括：接收对应于所述多焦平面MFP图像中的一者内的一个或多个像素的一或多个像素值；以及将所述一个或多个像素值调整所述深度图中的对应距离。
在示例性方法的一些实施例中，关于所述MFP显示器的能力的所述描述可以包括焦平面的数量和位置。
在示例方法的一些实施例中，所述观看者定向信号可以指示所述观看者的倾斜，并且针对立体显示器的每个视图计算一个或多个差异图像可以使用与所指示的观看者的倾斜相对应的旋转差异向量。
在示例方法的一些实施例中，针对多焦平面的数量和位置，计算一个或多个MFP图像可以包括：使用所述3D视频内容，计算每个焦平面位置的一个或多个MFP图像；3D扭曲一个或多个计算的MFP图像；以及在一个或多个计算的MFP图像上执行孔洞填充。
根据一些实施例的示例方法可以包括：接收三维视频内容；使用所述三维视频内容，针对多焦平面(MFP)的数目和位置，计算一个或多个多焦平面图像；测量运动跟踪传感器的运动跟踪传感器读数；从所述运动跟踪传感器读数，生成观看者定向信号；使用所述一个或多个MFP图像和所述观看者定向信号，计算快门式眼镜显示器的每个视图的一个或多个差异图像；以及将所述一个或多个差异图像渲染到所述快门眼镜显示器。
根据一些实施例的示例设备可以包括：一个或多个运动跟踪传感器；处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行以下过程：接收三维视频内容；使用所述三维视频内容，针对多焦平面(MFP)的数目和位置，计算一个或多个多焦平面图像；测量运动跟踪传感器的运动跟踪传感器读数；从所述运动跟踪传感器读数生成观看者定向信号；使用所述一个或多个MFP图像和所述观看者定向信号，计算快门式眼镜显示器的每个视图的一个或多个差异图像；以及将所述一个或多个差异图像渲染到所述快门眼镜显示器。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行以下过程：接收关于多焦平面MFP显示器的能力的描述；接收三维视频内容；接收观看者定向信号；使用所述三维视频内容和所述观看者定向信号，计算所述MFP显示器的一个或多个焦平面的图像数据；以及使用所计算的图像数据，将一个或多个MFP图像渲染到所述MFP显示器。
根据一些实施例的示例方法可以包括：接收三维(3D)视频内容；将所述3D视频内容滤波成高频率内容和低频率内容；将所述高频内容分解成一个或多个高频计算图像；将所述低频内容重新分布到所述一个或多个高频计算图像以生成一个或多个重新分布的焦平面；以及渲染与所述一个或多个重新分布的焦平面相对应的一个或多个多焦平面图像。
在示例方法的一些实施例中，所述3D视频内容可以包括一个或多个纹理图像和对应的深度图。
在示例方法的一些实施例中，将所述高频内容分解成一个或多个高频计算图像可以包括：使用所述高频内容，计算MFP显示器的一个或多个焦平面的图像数据；以及将所计算的图像数据分解成一个或多个高频计算图像。
在示例方法的一些实施例中，计算一个或多个焦平面的图像数据可以包括：从所述3D视频内容提取一个或多个图像；计算一个或多个焦平面的深度混合权重；通过由所述深度混合权重来重新映射所述深度图来产生一或多个MFP权重图；将一个或多个图像乘以每个MFP权重图以形成每个焦平面图像；以及为每个焦平面图像执行空间移位。
在示例方法的一些实施例中，所述深度混合权重可以是箱式滤波器。
在示例方法的一些实施例中，所述深度混合权重可以是线性斜坡。
在示例方法的一些实施例中，所述深度混合权重可以是多项式函数。
在示例方法的一些实施例中，所述深度混合权重可以是正弦函数。
在示例方法的一些实施例中，将所述低频内容重新分布到所述一个或多个高频计算图像可以包括：将所述低频内容的像素值除以N；以及将所除的低频内容与N个高频计算图像中的每一者组合，以生成一个或多个重新分布的焦平面，其中N是正整数。
根据一些实施例的示例方法可以包括：接收三维(3D)视频内容；使用所述3D视频内容，计算所述MFP显示器的N个焦平面的图像数据；对所述3D视频内容进行低通滤波，以生成低频3D视频内容；将所述低频3D视频内容的像素值除以N；将所除的低频3D视频内容重新分布到计算的图像数据的N个焦平面，以生成N个重新分布的图像；以及使用该N个重新分布的图像，将N组MFP图像渲染到所述MFP显示器，其中N是正整数。
在示例方法的一些实施例中，所述三维视频内容可以包括一个或多个纹理图像和对应的深度图。
在示例方法的一些实施例中，重新分布所除的低频3D视频内容可以包括：对计算图像数据的所述N个焦平面中的每一者进行低通滤波；将所除的低频视频内容与所计算的图像数据的N个焦平面中的每一者进行汇总，以生成N组汇总的图像数据；以及从相应的汇总图像数据中减去N组低通滤波的计算图像数据中的每组，以生成N组重新分布的图像数据。
在示例方法的一些实施例中，计算N个焦平面的图像数据可以包括：从3D视频内容中提取N个图像；计算N个焦平面的深度混合权重；通过由所述深度混合权重重新映射所述深度图，生成N个多焦平面MFP权重图；将N个图像乘以每个MFP权值图，形成每个焦平面图像；以及对于N个焦平面图像中的每一者，执行空间移位，其中N是正整数。
在示例方法的一些实施例中，所述深度混合权重可以是箱式滤波器。
在示例方法的一些实施例中，所述深度混合权重可以是线性斜坡。
在示例方法的一些实施例中，所述深度混合权重可以是多项式函数。
在示例方法的一些实施例中，所述深度混合权重可以是正弦函数。
在示例方法的一些实施例中，将所述低频内容重新分布到所述一个或多个高频焦平面可以包括：将低频内容的像素值除以N；以及将所除的低频内容与N组高频计算图像数据中的每组组合，以生成一组或多组重新分布的图像数据，其中N是正整数。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行以下过程：接收三维(3D)视频内容；将所述3D视频内容滤波成高频内容和低频内容；使用所述高频内容，计算所述MFP显示器的一个或多个焦平面的图像数据；将所计算的图像数据分解为N组高频计算图像数据；将所述低频内容的像素值除以N；将所除的低频内容重新分布到所述N个高频计算图像；以及使用所述N个重新分布的图像，将N组MFP图像渲染到所述MFP显示器，其中N是正整数。
根据一些实施例的示例方法可以包括：接收三维(3D)视频内容；将所述3D视频内容滤波成高频率内容和低频率内容；将所述高频内容分解成一个或多个高频焦平面；将所述低频内容重新分布到所述一个或多个高频焦平面以生成一个或多个重新分布的焦平面；以及使用所述一个或多个重新分布的焦平面，渲染一个或多个多焦平面图像。
根据一些实施例的示例方法可以包括：接收被表示为纹理加深度的图像；基于该图像的深度平面的值，将第一分解形成为多个N个焦平面图像；通过将低通滤波器应用于所述纹理图像并通过除以N来缩放所述像素值，创建一缩放的低频表示；以及针对所述多个N个焦平面图像中的每一者，计算多个重新分布的焦平面图像，这可以包括：计算相应焦平面图像的低通表示；将所缩放的低频表示添加到相应的焦平面图像，以生成调整的焦平面图像；以及从所述调整的焦平面图像减去所计算的相应的焦平面图像的低通表示，以生成重新分布的焦平面图像。
在示例方法的一些实施例中，所述多个重新分布的焦平面图像可以被渲染到多焦平面显示器。
在示例方法的一些实施例中，所述多个重新分布的焦平面图像可以用作输入以产生到立体显示器的立体对投影。
根据一些实施例的示例方法可以包括：接收一被表示为图像的多焦面堆栈的图像，该堆栈由基于所述图像的深度面的值的多个N个焦面图像组成；通过对所述图像应用低通滤波器并通过除以N来缩放所述像素值，创建缩放的低频表示；以及针对所述多个N个焦平面图像中的每一者，计算多个重新分布的焦平面图像，这可以包括：计算相应焦平面图像的低通表示；将所述缩放的低频表示添加到所述相应的焦平面图像，以生成调整的焦平面图像；以及从该调整的焦平面图像减去所计算的相应的焦平面图像的低通表示，以生成重新分布的焦平面图像。
在示例方法的一些实施例中，所述多个重新分布的焦平面图像可以被渲染到多焦平面显示器。
在示例方法的一些实施例中，所述多个重新分布的焦平面图像可以用作输入以产生到立体显示器的立体对投影。
根据一些实施例的示例方法可以包括：使用三维视频内容和观看者定向信号来计算MFP显示器的一个或多个焦平面的图像数据；以及使用所计算的图像数据，将一个或多个MFP图像渲染到所述MFP显示器。
根据一些实施例的示例设备可以包括：处理器；以及存储指令的非暂时性计算机可读介质，所述指令当在处理器上执行时可操作以执行以下过程：使用三维视频内容和观看者定向信号来计算MFP显示器的一个或多个焦平面的图像数据；以及使用所计算的图像数据，将一个或多个MFP图像渲染到所述MFP显示器。
根据一些实施例的示例方法可以包括：渲染到多焦平面显示器，响应于用户头部定向，创建立体视频。
根据一些实施例的示例方法可以包括：接收包括深度图的3D视频内容。
根据一些实施例的示例方法可以包括：接收由纹理图像组成的3-D视频内容。
根据一些实施例的示例方法可以包括：从观看者接收定向信号。
根据一些实施例的示例方法可以包括：接收关于多焦平面显示能力的描述(包括焦平面的数量和位置)。
根据一些实施例的示例方法可以包括：使用所述定向信号，计算所述多焦平面显示器的所述平面的图像数据。
根据一些实施例的示例方法可以包括：针对多焦平面的选定数量和位置，计算图像数据。
根据一些实施例的示例方法可以包括：使用多焦平面和所述定向信号，计算立体显示器的各个视图的差异图像(或者例如具有差异的图像)。
根据一些实施例的示例方法可以包括：向所述显示器渲染所述多焦平面/差异图像。
表4示出了图71-92的自然图像的灰度版本到黑白线条图的映射。
表4
注意，所描述的一个或多个实施例的各种硬件元件被称为“模块”，其实施(即，执行、运行等)在此结合相应模块描述的各种功能。如本文所使用的，模块包括相关领域的技术人员认为适合于给定实现的硬件(例如，一个或多个处理器、一个或多个微处理器、一个或多个微控制器、一个或多个微芯片、一个或多个专用集成电路(ASIC)、一个或多个现场可编程门阵列(FPGA)、一个或多个存储器设备)。每个所描述的模块还可以包括可执行用于执行被描述为由相应模块执行的一个或多个功能的指令，并且注意，这些指令可以采取硬件(即，硬连线的)指令、固件指令、和/或软件指令等的形式或包括它们，并且可以存储在任何适当的非暂时性计算机可读介质或媒体中，诸如通常被称为RAM、ROM等的媒体。
尽管上述按照特定组合描述了特征和元素，但是本领域技术人员将理解的是每个特征或元素可以被单独使用或以与其它特征和元素的任何组合来使用。此外，于此描述的方法可以在嵌入在计算机可读介质中由计算机或处理器执行的计算机程序、软件或固件中实施。计算机可读存储媒体的示例包括但不限于只读存储器(ROM)、随机存取存储器(RAM)、寄存器、缓冲存储器、半导体存储设备、诸如内部硬盘和可移除磁盘之类的磁媒体、磁光媒体、以及诸如CD-ROM碟片和数字多用途碟片(DVD)之类的光媒体。与软件相关联的处理器可以用于实施在WTRU、UE、终端、基站、RNC或任意主计算机中使用的射频收发信机。
Claims (23)
1.一种方法，包括：
使用三维(3D)内容的描述来生成多个焦平面图像；
接收运动信息，
其中，所述运动信息包括描述用户相对于真实世界环境的运动的信息；
响应于所述运动信息指示所述用户的横向运动而移位所述多个焦平面图像中的一个或多个焦平面图像，以产生横向运动视差；
响应于所述运动信息指示所述用户的轴向运动而缩放所述多个焦平面图像中的一个或多个焦平面图像，以产生轴向运动视差；以及
使用所移位和缩放的焦平面图像来渲染所述3D内容的视图。
2.根据权利要求1所述的方法，其中，所述运动信息是从附接到所述用户的头戴式设备的运动传感器接收的。
3.根据权利要求1-2中任一项所述的方法，其中，所述运动信息是从外部传感器接收的。
4.根据权利要求1-3中任一项所述的方法，其中所述运动信息包括描述所述用户的头部的运动的信息。
5.根据权利要求1-4中任一项所述的方法，其中缩放所述多个焦平面图像中的所述一个或多个焦平面图像包括：
响应于指示所述用户轴向地移动得更靠近所述一个或多个焦平面图像的运动信息，将所述一个或多个焦平面图像缩放至更大尺寸。
6.根据权利要求1-5中任一项所述的方法，其中缩放所述多个焦平面图像中的所述一个或多个焦平面图像包括：
响应于指示所述用户从所述一个或多个焦平面图像轴向地移动得更远的运动信息，将所述一个或多个焦平面图像缩放至更小尺寸。
7.根据权利要求1-6中任一项所述的方法，其中缩放所述多个焦平面图像中的所述一个或多个焦平面图像包括：使用缩放因子来缩放所述一个或多个焦平面图像，所述缩放因子基于从所述焦平面到所述用户的相对距离而变化。
8.根据权利要求1-7中任一项所述的方法，其中，所述多个焦平面图像中的至少一者具有用于所述用户的轴向运动的零视差设置。
9.根据权利要求1-8中任一项所述的方法，其中渲染所述3D内容的所述视图包括：
从所移位和缩放的焦平面图像生成所述3D内容的2D图像视图；以及
使用2D显示器显示所述2D图像视图。
10.根据权利要求1-9中任一项所述的方法，其中渲染所述3D内容的所述视图包括：使用多焦平面(MFP)显示器来显示所移位和缩放的焦平面图像。
11.根据权利要求1-10中任一项所述的方法，其中渲染所述3D内容的所述视图包括：
从所移位和缩放的焦平面图像生成左眼视图和右眼视图；以及
使用立体显示设备显示所述左眼视图和所述右眼视图。
12.根据权利要求1-11中任一项所述的方法，其中生成所述多个焦平面图像包括：
接收具有深度信息的输入图像；
针对低频内容对输入图像进行滤波；以及
将所述低频内容从所滤波的输入图像重新分布到所述多个焦平面图像。
13.一种设备，包括：
处理器；以及
存储器，其存储指令，所述指令在由所述处理器执行时操作以致使所述设备：
使用三维(3D)内容的描述来生成多个焦平面图像；
接收运动信息，
其中，所述运动信息包括描述用户相对于真实世界环境的运动的信息；
响应于所述运动信息指示所述用户的横向运动，移位所述多个焦平面图像中的一个或多个焦平面图像，以产生横向运动视差；
响应于所述运动信息指示所述用户的轴向运动，缩放所述多个焦平面图像中的一个或多个焦平面图像，以生成轴向运动视差；以及
使用所移位和缩放的焦平面图像来渲染所述3D内容的视图。
14.根据权利要求13所述的设备，其进一步包括运动传感器。
15.根据权利要求12到13中任一权利要求所述的设备，其中所述设备包括经配置以渲染所述3D内容的所述视图的多焦平面MFP显示器。
16.一种方法，包括：
接收三维(3D)内容的描述；
基于所述描述，形成所述3D内容的多个焦平面图像；
从运动跟踪设备接收指示观看者相对于真实世界环境的运动的运动信息；
通过响应于接收到所述运动信息而修改所述多个焦平面图像中的一个或多个焦平面图像来合成运动视差信息；
从经修改的所述一个或多个焦平面图像生成左眼图像和右眼图像；以及
使用立体显示设备显示所述左眼图像和所述右眼图像。
17.根据权利要求16所述的方法，其中合成运动视差信息包括：响应于所述运动信息指示所述观看者的横向运动而移位所述一个或多个焦平面图像，以产生横向运动视差。
18.根据权利要求16到17中任一权利要求所述的方法，其中合成运动视差信息包括：响应于所述运动信息指示所述观看者的轴向运动而缩放所述一个或多个焦平面图像，以产生轴向运动视差。
19.根据权利要求16-18中任一项所述的方法，其中所述运动跟踪设备包括附接到所述观看者的头戴式设备的运动传感器。
20.根据权利要求16到19中任一权利要求所述的方法，其中所述运动跟踪设备包括在所述立体显示设备外部的运动传感器。
21.根据权利要求16到20中任一权利要求所述的方法，其中所述运动跟踪设备包括附接到所述立体显示设备的运动传感器。
22.根据权利要求16到21中任一权利要求所述的方法，其中所述运动信息描述所述观看者的头部的运动。
23.根据权利要求16-22中的任一项所述的方法，其中，所述立体显示设备包括多焦平面(MFP)显示器。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862647568P | 2018-03-23 | 2018-03-23 | |
| US62/647,568 | 2018-03-23 | ||
| CN201980031588.8A CN112136324B (zh) | 2018-03-23 | 2019-03-20 | 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 |
| PCT/US2019/023149 WO2019183211A1 (en) | 2018-03-23 | 2019-03-20 | Multifocal plane based method to produce stereoscopic viewpoints in a dibr system (mfp-dibr) |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980031588.8A Division CN112136324B (zh) | 2018-03-23 | 2019-03-20 | 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118573835A true CN118573835A (zh) | 2024-08-30 |
Family
ID=66041666
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410790595.9A Pending CN118573835A (zh) | 2018-03-23 | 2019-03-20 | 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 |
| CN201980031588.8A Active CN112136324B (zh) | 2018-03-23 | 2019-03-20 | 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980031588.8A Active CN112136324B (zh) | 2018-03-23 | 2019-03-20 | 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11477434B2 (zh) |
| EP (2) | EP3769517B1 (zh) |
| JP (2) | JP2021518701A (zh) |
| CN (2) | CN118573835A (zh) |
| MX (2) | MX2020009791A (zh) |
| WO (1) | WO2019183211A1 (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200137380A1 (en) * | 2018-10-31 | 2020-04-30 | Intel Corporation | Multi-plane display image synthesis mechanism |
| WO2020259839A1 (en) * | 2019-06-27 | 2020-12-30 | Huawei Technologies Co., Ltd. | Multifocal display device and method |
| KR20220088698A (ko) * | 2019-10-31 | 2022-06-28 | 소니그룹주식회사 | 화상 표시 장치 |
| US20230005101A1 (en) * | 2019-12-19 | 2023-01-05 | Sony Group Corporation | Information processing apparatus, information processing method, and recording medium |
| US11575882B2 (en) | 2019-12-27 | 2023-02-07 | Samsung Electronics Co., Ltd. | Electronic apparatus and control method thereof |
| CN111427166B (zh) * | 2020-03-31 | 2022-07-05 | 京东方科技集团股份有限公司 | 一种光场显示方法及系统、存储介质和显示面板 |
| WO2021237065A1 (en) | 2020-05-21 | 2021-11-25 | Looking Glass Factory, Inc. | System and method for holographic image display |
| FI20205528A1 (en) * | 2020-05-25 | 2021-11-26 | Teknologian Tutkimuskeskus Vtt Oy | Method and system for enabling 3D detection from monocular images |
| US11388388B2 (en) | 2020-12-01 | 2022-07-12 | Looking Glass Factory, Inc. | System and method for processing three dimensional images |
| US12223621B2 (en) * | 2021-01-25 | 2025-02-11 | Beijing Boe Optoelectronics Technology Co., Ltd. | Virtual viewpoint synthesis method, electronic apparatus, and computer readable medium |
| CN117121475A (zh) * | 2021-04-12 | 2023-11-24 | 索尼集团公司 | 信息处理装置、信息处理方法和程序 |
| CN114815241B (zh) * | 2021-12-16 | 2022-12-16 | 北京灵犀微光科技有限公司 | 抬头显示系统、方法及车载系统 |
| US20230344975A1 (en) * | 2022-04-22 | 2023-10-26 | Faurecia Irystec Inc. | System and method for controlling perceptual three-dimensional elements for display |
| US12063389B2 (en) | 2022-11-10 | 2024-08-13 | Rovi Guides, Inc. | 3D prediction method for video coding |
| US11902503B1 (en) | 2022-11-18 | 2024-02-13 | Rovi Guides, Inc. | System and method for preprocessing of focal planes data for rendering |
| US12113949B2 (en) | 2022-12-23 | 2024-10-08 | Rovi Guides, Inc. | System and method for depth data coding |
| TWI812566B (zh) * | 2022-12-28 | 2023-08-11 | 宏碁股份有限公司 | 立體影像深度調整方法與裝置 |
| US12267477B2 (en) | 2023-06-26 | 2025-04-01 | Adeia Guides Inc. | Viewpoint synthesis with enhanced 3D perception |
| CN117132568A (zh) * | 2023-08-28 | 2023-11-28 | 联想(北京)有限公司 | 图像处理方法、装置及电子设备 |
| WO2025088573A1 (en) * | 2023-10-27 | 2025-05-01 | CubicSpace Technologies Inc. | Image processing of stereoscopic images for providing an optimized stereoscopic viewing experience |
| CN119363956A (zh) * | 2024-10-29 | 2025-01-24 | 北京光合声智能科技有限公司 | 一种基于空间计算生成空间可视交互介质的方法及装置 |
Family Cites Families (104)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5793985A (en) | 1996-06-17 | 1998-08-11 | Hewlett-Packard Company | Method and apparatus for block-based motion estimation |
| US6466185B2 (en) | 1998-04-20 | 2002-10-15 | Alan Sullivan | Multi-planar volumetric display system and method of operation using psychological vision cues |
| US7116324B2 (en) | 1998-05-27 | 2006-10-03 | In-Three, Inc. | Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures |
| JP3452244B2 (ja) * | 1998-09-17 | 2003-09-29 | 日本電信電話株式会社 | ３次元表示方法及び装置 |
| WO2001035154A1 (de) | 1999-11-11 | 2001-05-17 | 4D-Vision Gmbh | Verfahren und anordnung zur dreidimensionalen darstellung |
| JP3969927B2 (ja) * | 2000-04-06 | 2007-09-05 | キヤノン株式会社 | レンズ鏡筒、撮影装置及び観察装置 |
| NZ511444A (en) | 2001-05-01 | 2004-01-30 | Deep Video Imaging Ltd | Information display |
| JP4130780B2 (ja) | 2002-04-15 | 2008-08-06 | 松下電器産業株式会社 | 画像符号化方法および画像復号化方法 |
| US7483488B1 (en) | 2002-05-30 | 2009-01-27 | Intervideo, Inc. | Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model |
| JP3862620B2 (ja) | 2002-06-28 | 2006-12-27 | キヤノン株式会社 | 画像処理装置、及び画像処理方法 |
| US8537204B2 (en) * | 2004-07-08 | 2013-09-17 | Gyoung Il Cho | 3D television broadcasting system |
| CN100423539C (zh) | 2004-02-23 | 2008-10-01 | Toa株式会社 | 图像压缩方法、图像压缩装置、图像传输系统、数据压缩预处理装置及数据压缩预处理方法 |
| US8094927B2 (en) | 2004-02-27 | 2012-01-10 | Eastman Kodak Company | Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer |
| US8717423B2 (en) | 2005-05-09 | 2014-05-06 | Zspace, Inc. | Modifying perspective of stereoscopic images based on changes in user viewpoint |
| US8107540B2 (en) | 2005-07-11 | 2012-01-31 | Cheetah Technologies, L.P. | Image complexity computation in packet based video broadcast systems |
| CN101523924B (zh) | 2006-09-28 | 2011-07-06 | 皇家飞利浦电子股份有限公司 | 3d菜单显示 |
| US8570426B2 (en) | 2008-11-25 | 2013-10-29 | Lytro, Inc. | System of and method for video refocusing |
| US8100539B2 (en) | 2007-04-10 | 2012-01-24 | Tunable Optix Corporation | 3D imaging system employing electronically tunable liquid crystal lens |
| US8331663B2 (en) | 2007-06-28 | 2012-12-11 | Qualcomm Incorporated | Efficient image compression scheme to minimize storage and bus bandwidth requirements |
| US9866826B2 (en) * | 2014-11-25 | 2018-01-09 | Ricoh Company, Ltd. | Content-adaptive multi-focal display |
| US8897595B2 (en) * | 2008-03-26 | 2014-11-25 | Ricoh Co., Ltd. | Adaptive image acquisition for multiframe reconstruction |
| WO2009155688A1 (en) | 2008-06-23 | 2009-12-30 | Craig Summers | Method for seeing ordinary video in 3d on handheld media players without 3d glasses or lenticular optics |
| US8666189B2 (en) | 2008-08-05 | 2014-03-04 | Aptina Imaging Corporation | Methods and apparatus for flat region image filtering |
| US8184196B2 (en) | 2008-08-05 | 2012-05-22 | Qualcomm Incorporated | System and method to generate depth data using edge detection |
| EP2329313A4 (en) | 2008-08-27 | 2013-04-10 | Puredepth Ltd | IMPROVEMENTS OF, OR IN CONNECTION WITH ELECTRONIC VISUAL DISPLAYS |
| TW201035966A (en) | 2009-03-17 | 2010-10-01 | Chunghwa Picture Tubes Ltd | Method of observing a depth fused display |
| US20110075257A1 (en) | 2009-09-14 | 2011-03-31 | The Arizona Board Of Regents On Behalf Of The University Of Arizona | 3-Dimensional electro-optical see-through displays |
| US8788197B2 (en) | 2010-04-30 | 2014-07-22 | Ryan Fink | Visual training devices, systems, and methods |
| US20110273466A1 (en) | 2010-05-10 | 2011-11-10 | Canon Kabushiki Kaisha | View-dependent rendering system with intuitive mixed reality |
| US9143699B2 (en) | 2010-07-13 | 2015-09-22 | Sony Computer Entertainment Inc. | Overlay non-video content on a mobile device |
| US9832441B2 (en) | 2010-07-13 | 2017-11-28 | Sony Interactive Entertainment Inc. | Supplemental content on a mobile device |
| US8730354B2 (en) | 2010-07-13 | 2014-05-20 | Sony Computer Entertainment Inc | Overlay video content on a mobile device |
| US9035939B2 (en) * | 2010-10-04 | 2015-05-19 | Qualcomm Incorporated | 3D video control system to adjust 3D video rendering based on user preferences |
| US8576276B2 (en) | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US20120128244A1 (en) | 2010-11-19 | 2012-05-24 | Raka Singh | Divide-and-conquer filter for low-light noise reduction |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US20120200676A1 (en) | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
| US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
| CN102934003B (zh) | 2011-04-15 | 2016-06-08 | 松下电器产业株式会社 | 摄像装置、半导体集成电路以及摄像方法 |
| JP6073307B2 (ja) | 2011-06-22 | 2017-02-01 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | ディスプレイ用信号の生成方法及び装置 |
| GB201110661D0 (en) | 2011-06-23 | 2011-08-10 | Univ Durham | Apparatus and method for displaying images |
| US8432434B2 (en) | 2011-07-08 | 2013-04-30 | Mitsubishi Electric Research Laboratories, Inc. | Camera and method for focus based depth reconstruction of dynamic scenes |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| US9223138B2 (en) | 2011-12-23 | 2015-12-29 | Microsoft Technology Licensing, Llc | Pixel opacity for augmented reality |
| JP6176747B2 (ja) | 2012-04-05 | 2017-08-09 | マジック リープ， インコーポレイテッド | アクティブな中心窩能力を有する広角（ｆｏｖ）結像デバイス |
| KR20130127347A (ko) | 2012-05-10 | 2013-11-22 | 삼성전자주식회사 | 아날로그 및 디지털 하이브리드 빔포밍을 통한 통신 방법 및 장치 |
| US9934614B2 (en) * | 2012-05-31 | 2018-04-03 | Microsoft Technology Licensing, Llc | Fixed size augmented reality objects |
| US9030749B2 (en) | 2012-08-01 | 2015-05-12 | Microvision, Inc. | Bifocal head-up display system |
| CN103634588A (zh) | 2012-08-27 | 2014-03-12 | 联想(北京)有限公司 | 一种影像构成方法及电子设备 |
| JP2014071207A (ja) | 2012-09-28 | 2014-04-21 | Canon Inc | 画像処理装置、撮像システム、画像処理システム |
| KR101984701B1 (ko) | 2012-11-13 | 2019-05-31 | 삼성전자주식회사 | 전기습윤 렌즈 어레이를 포함하는 3차원 영상 디스플레이 장치 및 3차원 영상 획득 장치 |
| US8976323B2 (en) | 2013-01-04 | 2015-03-10 | Disney Enterprises, Inc. | Switching dual layer display with independent layer content and a dynamic mask |
| CN103076156B (zh) | 2013-01-08 | 2015-07-22 | 江苏涛源电子科技有限公司 | 红外焦平面阵列的多判据盲元检测方法 |
| WO2014119555A1 (ja) * | 2013-01-31 | 2014-08-07 | 株式会社ニコン | 画像処理装置、表示装置及びプログラム |
| US9225920B2 (en) | 2013-03-15 | 2015-12-29 | Northrop Grumman Systems Corporation | Staring focal plane sensor systems and methods for imaging large dynamic range scenes |
| US9191643B2 (en) | 2013-04-15 | 2015-11-17 | Microsoft Technology Licensing, Llc | Mixing infrared and color component data point clouds |
| KR102079629B1 (ko) | 2013-05-02 | 2020-02-21 | 삼성전자주식회사 | 무선 통신 시스템에서 하이브리드 빔포밍의 복잡도 개선을 위한 방법 및 장치 |
| US9344619B2 (en) | 2013-08-30 | 2016-05-17 | Qualcomm Incorporated | Method and apparatus for generating an all-in-focus image |
| US9437038B1 (en) | 2013-09-26 | 2016-09-06 | Amazon Technologies, Inc. | Simulating three-dimensional views using depth relationships among planes of content |
| US10539772B2 (en) | 2013-10-09 | 2020-01-21 | Howard Hughes Medical Institute | Multiview light-sheet microscopy |
| CN108107571B (zh) | 2013-10-30 | 2021-06-01 | 株式会社摩如富 | 图像处理装置及方法及非暂时性计算机可读记录介质 |
| KR102143473B1 (ko) | 2013-11-13 | 2020-08-12 | 삼성전자주식회사 | 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 |
| US20150145977A1 (en) * | 2013-11-22 | 2015-05-28 | Samsung Display Co., Ltd. | Compensation technique for viewer position in autostereoscopic displays |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| KR102493498B1 (ko) | 2013-11-27 | 2023-01-27 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US20150205135A1 (en) * | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
| US9804395B2 (en) | 2014-01-29 | 2017-10-31 | Ricoh Co., Ltd | Range calibration of a binocular optical augmented reality system |
| KR102207799B1 (ko) | 2014-01-31 | 2021-01-26 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| CA2938262C (en) | 2014-01-31 | 2021-01-19 | Magic Leap, Inc. | Multi-focal display system and method |
| CA2941653C (en) | 2014-03-05 | 2021-08-24 | Arizona Board Of Regents On Behalf Of The University Of Arizona | Wearable 3d augmented reality display |
| US9971153B2 (en) * | 2014-03-29 | 2018-05-15 | Frimory Technologies Ltd. | Method and apparatus for displaying video data |
| US9606359B2 (en) | 2014-05-15 | 2017-03-28 | Atheer, Inc. | Method and apparatus for controlling focal vergence of optical content |
| KR102258289B1 (ko) | 2014-05-22 | 2021-05-31 | 삼성전자 주식회사 | 이차원 배열 안테나를 사용하는 이동통신 시스템에서의 채널 피드백의 생성 및 전송 방법 및 장치 |
| EP3149528B1 (en) | 2014-05-30 | 2023-06-07 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| JP6648041B2 (ja) | 2014-05-30 | 2020-02-14 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 仮想および拡張現実のためのアドレス可能焦点を伴う自由形状光学システムを用いて立体視を表示する方法およびシステム |
| AU2015274283B2 (en) * | 2014-06-14 | 2020-09-10 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| KR102300532B1 (ko) | 2014-09-05 | 2021-09-13 | 삼성전자주식회사 | 빔 포밍 시스템에서 채널 정보 피드백을 위한 방법 및 장치 |
| US10334221B2 (en) | 2014-09-15 | 2019-06-25 | Mantisvision Ltd. | Methods circuits devices systems and associated computer executable code for rendering a hybrid image frame |
| US9997199B2 (en) | 2014-12-05 | 2018-06-12 | Warner Bros. Entertainment Inc. | Immersive virtual reality production and playback for storytelling content |
| WO2016138313A1 (en) * | 2015-02-26 | 2016-09-01 | Puredepth Inc. | A display interposing a physical object within a three-dimensional volumetric space |
| US10404975B2 (en) | 2015-03-20 | 2019-09-03 | Tilt Five, Inc | Retroreflective light field display |
| US20160307368A1 (en) | 2015-04-17 | 2016-10-20 | Lytro, Inc. | Compression and interactive playback of light field pictures |
| CN104899870B (zh) | 2015-05-15 | 2017-08-25 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
| JP6489932B2 (ja) | 2015-05-19 | 2019-03-27 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| US9426450B1 (en) | 2015-08-18 | 2016-08-23 | Intel Corporation | Depth sensing auto focus multiple camera system |
| US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
| WO2017055894A1 (en) | 2015-09-30 | 2017-04-06 | Lightspace Technologies Sia | Multi-planar volumetric real time three-dimensional display and method of operation |
| US10554956B2 (en) | 2015-10-29 | 2020-02-04 | Dell Products, Lp | Depth masks for image segmentation for depth-based computational photography |
| US10187880B2 (en) | 2015-12-18 | 2019-01-22 | Futurewei Technologies, Inc. | System and method for transmission and reception of control and data channels with group reference signal |
| US10056057B2 (en) | 2016-04-13 | 2018-08-21 | Google Llc | Resonant modulation of varifocal liquid membrane lens to provide multiple concurrent focal planes in VR display for realistic focus cues |
| KR102450362B1 (ko) | 2016-05-09 | 2022-10-04 | 매직 립, 인코포레이티드 | 사용자 건강 분석을 위한 증강 현실 시스템들 및 방법들 |
| JP6577421B2 (ja) * | 2016-06-24 | 2019-09-18 | 日本電信電話株式会社 | 表示装置 |
| CN106125246A (zh) | 2016-07-19 | 2016-11-16 | 湖北三江航天红峰控制有限公司 | 一种自寻激光焦平面的方法 |
| US10516879B2 (en) * | 2016-08-12 | 2019-12-24 | Avegant Corp. | Binocular display with digital light path length modulation |
| KR102257181B1 (ko) * | 2016-09-13 | 2021-05-27 | 매직 립, 인코포레이티드 | 감각 안경류 |
| FR3057095B1 (fr) | 2016-10-03 | 2019-08-16 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de construction d'une carte de profondeur d'une scene et/ou d'une image entierement focalisee |
| US10484599B2 (en) | 2016-10-25 | 2019-11-19 | Microsoft Technology Licensing, Llc | Simulating depth of field |
| CN106875436B (zh) | 2016-12-14 | 2019-10-22 | 北京信息科技大学 | 一种基于特征点密度由聚焦堆栈估计深度的方法和装置 |
| WO2018163843A1 (ja) | 2017-03-08 | 2018-09-13 | ソニー株式会社 | 撮像装置、および撮像方法、並びに画像処理装置、および画像処理方法 |
| KR101947372B1 (ko) * | 2017-09-04 | 2019-05-08 | 주식회사 그루크리에이티브랩 | Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd |
| US10852547B2 (en) | 2017-12-15 | 2020-12-01 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| US10901291B1 (en) | 2017-12-20 | 2021-01-26 | Facebook Technologies, Llc | Bifocal optical assembly for a head-mounted display |
| CN112585963B (zh) | 2018-07-05 | 2024-04-09 | Pcms控股公司 | 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统 |
-
2019
- 2019-03-20 EP EP19715640.9A patent/EP3769517B1/en active Active
- 2019-03-20 JP JP2020550166A patent/JP2021518701A/ja active Pending
- 2019-03-20 WO PCT/US2019/023149 patent/WO2019183211A1/en active Application Filing
- 2019-03-20 CN CN202410790595.9A patent/CN118573835A/zh active Pending
- 2019-03-20 EP EP23196907.2A patent/EP4266113B1/en active Active
- 2019-03-20 US US16/981,167 patent/US11477434B2/en active Active
- 2019-03-20 MX MX2020009791A patent/MX2020009791A/es unknown
- 2019-03-20 CN CN201980031588.8A patent/CN112136324B/zh active Active
-
2020
- 2020-09-21 MX MX2024004977A patent/MX2024004977A/es unknown
-
2022
- 2022-09-20 US US17/948,952 patent/US12238270B2/en active Active
-
2024
- 2024-07-19 JP JP2024115705A patent/JP2025039521A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4266113A3 (en) | 2023-12-27 |
| EP4266113A2 (en) | 2023-10-25 |
| US20230027251A1 (en) | 2023-01-26 |
| CN112136324B (zh) | 2024-07-05 |
| EP4266113B1 (en) | 2025-06-25 |
| EP3769517B1 (en) | 2023-09-13 |
| JP2021518701A (ja) | 2021-08-02 |
| CN112136324A (zh) | 2020-12-25 |
| US20210136354A1 (en) | 2021-05-06 |
| US11477434B2 (en) | 2022-10-18 |
| MX2020009791A (es) | 2020-11-11 |
| JP2025039521A (ja) | 2025-03-21 |
| US12238270B2 (en) | 2025-02-25 |
| MX2024004977A (es) | 2024-05-10 |
| WO2019183211A1 (en) | 2019-09-26 |
| EP3769517A1 (en) | 2021-01-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112136324B (zh) | 在dibr系统(mfp-dibr)中产生立体视点的基于多焦面的方法 | |
| CN112585963B (zh) | 用于2d显示器上的内容的3d感知的近眼焦平面覆盖层的方法和系统 | |
| CN111869205B (zh) | 具有变化位置的多焦平面 | |
| US10460459B2 (en) | Stitching frames into a panoramic frame | |
| US10237539B2 (en) | 3D display apparatus and control method thereof | |
| US20140293028A1 (en) | Multi view synthesis method and display devices with spatial and inter-view consistency | |
| EP3818695B1 (en) | Method and system for forming extended focal planes for large viewpoint changes | |
| CN102075694A (zh) | 用于视频制作、后期制作和显示适应的立体编辑 | |
| JPWO2012176431A1 (ja) | 多視点画像生成装置、多視点画像生成方法 | |
| CN114080582B (zh) | 用于稀疏分布式渲染的系统和方法 | |
| JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
| JP2013223114A (ja) | 画像処理装置および画像処理方法、並びにプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |