CN113014902B - 3d-2d同步显示方法及系统 - Google Patents
3d-2d同步显示方法及系统 Download PDFInfo
- Publication number
- CN113014902B CN113014902B CN202110172879.8A CN202110172879A CN113014902B CN 113014902 B CN113014902 B CN 113014902B CN 202110172879 A CN202110172879 A CN 202110172879A CN 113014902 B CN113014902 B CN 113014902B
- Authority
- CN
- China
- Prior art keywords
- view
- edge
- parallax
- visible
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000001360 synchronised effect Effects 0.000 title claims abstract description 22
- 239000011521 glass Substances 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 22
- 230000000875 corresponding effect Effects 0.000 claims description 16
- 238000009877 rendering Methods 0.000 claims description 16
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 4
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 4
- 238000007689 inspection Methods 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 208000012886 Vertigo Diseases 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 231100000889 vertigo Toxicity 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明公开一种3D‑2D同步显示方法及系统，属于3D显示技术领域，通过接收左眼视图和右眼视图，中间视图，左视差图和右视差图，进行逐像素调制，得到左眼调制视图和右眼调制视图；将左眼调制视图和右眼调制视图在显示屏幕上播放，对于佩戴3D眼镜的观看者同步呈现一3D图像，对于裸眼的观看者同步呈现一2D图像。
Description
技术领域
本发明属于3D显示技术领域，尤其与3D影院相关，具体涉及同一时刻下佩戴3D眼镜的观测者能够观看3D内容，不佩戴3D眼镜的观测者能够观看清晰的2D内容。
背景技术
当下传统的需要佩戴3D眼镜的3D显示仍然是人们体验立体感知的主流方式之一，例如3D影院在全球依旧火爆。3D显示主要利用人眼的双目视差，即左右眼视图会存在轻微差别，为观测者提供额外的双目视差信息以进一步增强人们的立体感知。观测者通过3D眼镜将传统3D硬件播放的3D内容中的左右眼视图分离观看。然而由于辐辏冲突(vergence-accommodation conflict)，长时间观看3D内容会使观测者产生视疲劳或者眩晕感，特别是对于立体视觉有缺陷的人(约有11％)或者孩子(他们视觉神经系统未发育完全)。当视疲劳或有眩晕感时摘下3D眼镜观看是最直接的想法，但是原始的3D内容在传统3D显示硬件上播放时，会由于左右视图的视差而重叠成有重影的图片或者视频，这些重影在本发明中被称为鬼影，它们会严重降低2D观看的质量。因此，面临的技术问题是如何使观测者佩戴3D眼镜获得3D体验，与此同时，不佩戴3D眼镜的观测者能够看到清晰的2D内容；观测者能在不影响他人观看体验的前提下随心选择观看3D内容或者2D内容。
目前的解决方案大多是设计新奇的显示硬件，例如，2Dx3D显示系统[1]将左眼视图分解为右眼视图和残余视图的组合([1]Wataru Fujimura,Y.K.,Robert Songer,Takahiro Hayakawa,Akihiko Shirai,and a.K.Yanaka,2x 3D:Real Time Shader forSimultaneous 2D/3D Hy-brid Theater.SIGGRAPH Asia 2012Emerging Technologies,2012.)，右视图和残余视图在传统3D显示硬件的显示屏幕上播放，当观测者裸眼观看时，观测者的视觉神经系统会将右眼视图和参与视图重新融合为左眼视图，这样观测者观看3D效果还是2D效果取决于他们右眼是否佩戴特殊眼镜，特殊眼镜能够将显示屏幕发出的混合光信号中的右眼视图分离出来。3D+2DTV显示[2]采用了三个视频通道：左眼通道、右眼通道和neither通道([2]Scher,S.,et al.,3D+2DTV:3D Displays with No Ghosting forViewers Without Glasses.ACM Transactions on Graphics,2013.32(3).)。右眼通道和neither通道互补，当观测者不佩戴特殊眼镜时，三个通道的混合光信号全部进入人眼视觉系统，然后右眼视图和neither视图融合抵消仅感知到左眼视图，即清晰的2D视图；当观测者佩戴特殊眼镜时，特殊眼镜会将左右眼视图从混合光信号中剥离出来然后分别投射到左右眼中，此时观测者会感知到3D效果。以上两种解决方案均需要特殊的显示硬件配合，与现已有的显示硬件不兼容，而且方案中的一视图叠加辅助视图变为另一视图是以降低左右眼视图的对比度为代价的，这会严重降低3D观看和2D观看的质量。
目前还有一种解决方案是HiddenStereo[3]([3]Scher,S.,et al.,3D+2DTV:3DDisplays with No Ghosting for Viewers Without Glasses.ACM Transactions onGraphics,2013.32(3).)。HiddenStereo通过在清晰的2D视图上加减disparity inducer生成具有3D-2D同步显示效果的左右眼视图，当使用传统3D显示硬件播放调制左右眼视图时，佩戴3D眼镜的观测这依旧能感知3D效果，而对于不佩戴3D眼镜的观测者，由于左右眼视图中的disparity inducer成分相互抵消，他们会感知到清晰的2D视图。Disparity inducer来自于视差图或者直接来自于原左右眼视图。HiddenStereo的研究者通过心理视觉实验证实当原左右眼视图的最大绝对视差小于8arcmin时，新生成的左右眼视图的3D效果基本不会受到影响，但是当原左右眼视图绝对视差过大时，HiddenStereo会严重扭曲左右眼视图，特别是视差大的空间频率高的区域，从而使观测者的不舒适感增加。上述问题是由于HiddenStereo所采用的steerable pyramid不足以根据视差自适应调节左右眼视图的空间频率。
发明内容
本发明的目的在于提供一种应用在传统3D显示硬件上的3D-2D同步显示方法及系统，根据左右眼视图上像素的视差自适应调节该位置上的空间频率，在视差大且空间频率高的区域平滑程度更高以降低不舒适感，在视差低的区域平滑程度低以保证3D视差。通过本发明，佩戴3D眼镜的观测者和不佩戴3D眼镜的观测者可同时观看，分别欣赏3D效果和2D效果；观测者也可在不影响他人观看体验的情况下，通过戴上或摘下3D眼镜随心选择3D观看或2D观看；院线经营者也可零硬件成本将3D影院切换为3D-2D同步播放模式。
为了实现上述目的，本发明采用以下技术方案：
一种3D-2D同步显示方法，包括以下步骤：
接收左眼视图和右眼视图，中间视图，左视差图和右视差图，进行逐像素调制，得到左眼调制视图和右眼调制视图；
将左眼调制视图和右眼调制视图在显示屏幕上播放，对于佩戴3D眼镜的观看者同步呈现一3D图像，对于裸眼的观看者同步呈现一2D图像；
依据如下公式进行逐像素调制：
其中，Pl和Pr表示左眼调制视图和右眼调制视图，C表示中间视图，Dl和Dr表示左视差图和右视差图，x表示像素，Lσ()和Rσ()表示左眼视图和右眼视图经过平滑滤波后的图像，σ(Dl(x))和σ(Dr(x))表示平滑程度大小，与像素x上的绝对视差正相关。
进一步地，根据左眼视图和右眼视图，首先计算双可见边缘视差，然后推测单可见边缘视差，再然后推测更多双可见边缘视差，最后扩张双可见视差，生成左视差图和右视差图，以及可见信息；其中：
计算双可见边缘视差方法为：对左眼视图和右眼视图，利用边缘检测算法获得边缘像素点集合；用代价函数衡量左眼视图上的边缘像素点和右眼视图的边缘像素点之间的像素差异，在同一水平上寻找左右眼视图的候选像素匹配对；候选像素匹配对经过左右一致检查，次优检查，以及直方图检查，确定最终的最佳像素匹配对；
推测单可见边缘视差方法为：对于左眼视图上的某一边缘，该边缘上的部分像素的视差d由计算双可见边缘视差方法的衡量像素差异时得到，对于边缘上的剩余像素，若该剩余像素左侧有双可见的像素，且在右眼视图上的对应点的左右顺序不一致，则该剩余像素的视差判为d，且仅在左眼视图可见；对于右眼视图上的某一边缘，该边缘上的部分像素的视差d由计算双可见边缘视差方法的衡量像素差异时得到，对于边缘上的剩余像素，若该剩余像素右侧有双可见的像素，且在左眼视图上的对应点的左右顺序不一致，则该剩余像素的视差判为d，且仅在右眼视图可见；
推测更多双可见边缘视差方法为：对于左眼视图和右眼视图上的视差未知的一些竖直边缘的像素和全部水平边缘的像素，若在该视差未知的像素的边缘两端找到视差一致的双可见的像素点，则确定该边缘的视差；
扩张双可见视差方法为：对视差已知的边缘及其周围像素进行调制，基于已知视差的像素点进行广度扩张，使边缘周围的像素点的视差与该边缘一致。
进一步地，代价函数的公式如下：
其中，C(xl,xr)表示代价函数，xl和xr表示左右眼视图上的边缘像素点，L和R表示左右眼视图，
和
表示水平梯度和竖直梯度，||·||1表示
范数，λ为系数。
进一步地，左右一致检查是指候选像素匹配对的两个像素互为在另一视图的最佳匹配像素点；次优检查是指代价函数C(xl,xr)≤tsC(xl,x′r)，其中x′r为xl在右眼视图的次优匹配点，ts为阈值，0<ts<1；直方图检查是指以边缘为单位分析某一边缘上的像素点的视差，排除异常视差所对应的像素点。
进一步地，推测单可见边缘视差方法中，判断仅在左眼视图可见的方法为：若剩余像素x右侧存在双可见的像素x′使得x+d>x′+Dl(x′)，Dl表示左视差图，则认为像素x被像素x′阻挡，若边缘的某一连续片段上被阻挡的像素超过3个，则认定该连续片段为仅在左眼视图可见；判断仅在右眼视图可见的方法为：若剩余像素x左侧存在双可见的像素x′使得x+d>x′+Dr(x′)，Dr表示右视差图，则认为像素x被像素x′阻挡，若边缘的某一连续片段上被阻挡的像素超过3个，则认定该连续片段为仅在右眼视图可见。
进一步地，根据左眼视图和右眼视图，左视差图和右视差图，以及在计算生成左视差图和右视差图时得到的可见信息，通过渲染骨架区域和渲染剩余区域，生成中间视图；其中：
渲染骨架区域方法为：将边缘像素点集合中的每一元素均对应左眼视图或右眼视图中像素直接映射至中间视图上，组成中间视图的骨架部分；
渲染剩余区域方法为：利用中间视图骨架区域的视差信息和可见信息广度扩张骨架区域，直至全部渲染。
进一步地，左眼调制视图和右眼调制视图在显示屏幕上以至少60Hz的频率交替播放，屏幕刷新率至少为120Hz。
一种3D-2D同步显示系统，包括：
存储模块，用于存储原3D视频内容或者经处理后的左眼调制视图和右眼调制视图，该原3D视频内容至少包括左眼视图和右眼视图；
处理模块，包括核心模块，该核心模块用于接收左眼视图和右眼视图，中间视图，左视差图和右视差图，依据如下公式进行逐像素调制，得到左眼调制视图和右眼调制视图；
其中，Pl和Pr表示左眼调制视图和右眼调制视图，C表示中间视图，Dl和Dr表示左视差图和右视差图，x表示像素，Lσ()和Rσ()表示左眼视图和右眼视图经过平滑滤波后的图像，σ(Dl(x))和σ(Dr(x))表示平滑程度大小，与像素x上的绝对视差正相关；
显示模块，包括显示屏幕，用于播放左眼调制视图和右眼调制视图，对于佩戴3D眼镜的观看者同步呈现一3D图像，对于裸眼的观看者同步呈现一2D图像。
进一步地，还包括视差图模块，用于根据左眼视图和右眼视图，首先计算双可见边缘视差，然后推测单可见边缘视差，再然后推测更多双可见边缘视差，最后扩张双可见视差，对应生成左视差图和右视差图，以及选择生成可见信息。
进一步地，还包括中间视图模块，用于根据左眼视图和右眼视图，以及从视差图模块收到的左视差图、右视差图和可见信息，通过渲染骨架区域和渲染剩余区域，生成中间视图，并将生成的中间视图传输给核心模块。
本发明与现有技术相比的优点在于：
(1)与现有的3D显示硬件兼容，不需要额外的硬件支持。当观测者有3D-2D同步显示的需要时，向现有的3D显示硬件输入调制的左右眼视图即可。当观测者无3D-2D同步显示需要时，3D显示硬件正常播放原3D内容的左右眼视图。
(2)根据左右眼视图的视差调节视图的不同区域的空间频率，在大视差区域过滤掉更多的空间频率高的成分，在小视差区域对高的空间频率成分包容度更大，如此更能减少大视差带来的不舒适感。
本发明可应用电影院中，在3D影院和2D影院的基础上增加3D-2D同步显示影院。3D-2D同步显示影院专门为不适宜长时间观看3D电影的观众准备，过去这些观众对3D电影很排斥，要么观看2D电影，要么仅观看3D电影的2D版本。依据本发明的3D-2D同步显示系统，影院管理者可零硬件成本将3D影院自由切换成3D影院模式和3D-2D同步显示影院模式。
附图说明
图1是实施例涉及的3D-2D同步显示系统的结构示意图。
图2A-2D是处理模块的四种输入变体的示意图。
具体实施方式
本发明提出的3D-2D同步显示系统包含存储模块、处理模块和显示模块，具体内容为：
存储模块存储原3D内容，或者线下使用处理模块预调制过的具有3D-2D同步显示效果的左右眼视图。若存储前者，存储模块向处理模块传递原3D内容，以便存储模块实时调制；若存储后者，存储模块直接将内容发送至显示模块进行播放。
处理模块是事先开发好的程序，在通用计算机或者特殊计算机上以硬件或软件形式运行。处理模块的输入是原左右眼视图、视差图(可选)、中间视图(可选)，输出为具有3D-2D同步显示效果的调制左右眼视图。处理模块进一步细分为核心模块、视差图模块和中间视图模块。核心模块的输入是原左右眼视图、视差图和中间视图，输出是具有3D-2D同步显示效果的调制左右眼视图；视差图模块的输入是原左右眼视图，输出是原左右眼视图的骨架区域的视差信息和可见信息，视差图模块仅在无视差图输入到处理模块时工作；中间视图模块的输入是原左右眼视图和视差图模块的输出，输出是原左右眼视图的中间视图，中间视图模块仅在无中间视图输入到处理模块时工作。
显示模块为传统3D显示硬件，主要包含显示屏幕和3D眼镜，将经过处理模块调制后的左右眼视图以特定的空间或时间排列在显示屏幕上播放，观测者需要佩戴能将屏幕发出的光信号分离的3D眼镜观看。通过3D眼镜，观测者的左右眼分别被呈现正确的左右眼信号，然后经过人眼视觉系统形成3D感知；当观测者不使用3D眼镜而直接使用裸眼观看屏幕时，调制后的左右眼视图会在人眼视觉系统中融合为清晰的2D视图。
本发明技术方案的核心是处理模块，处理模块工作步骤如下：
核心模块输入为左眼视图L和右眼视图R，中间视图C，左视差图Dl和右视差图Dr，输出为左眼调制视图Pl和右眼调制视图Pr，逐像素调制。对于像素x，处理如下：
其中，Lσ(x)和Rσ(x)表示左右眼视图经过平滑滤波后的图像，σ(D(x))是平滑程度的大小，其与像素x上的绝对视差正相关。
视差图模块的输入是左眼视图L和右眼视图R，输出是左视差图Dl和右视差图Dr。视差图模块进一步细分为计算双可见边缘视差、推测单可见边缘视差、推测更多双可见边缘视差、扩张双可见视差。
(1)计算双可见边缘视差。假设Blθ和Brθ为左眼视图L和右眼视图R的边缘像素点的集合，其可由边缘检测算法获得，θ表示边缘像素点的梯度与水平方向的最大夹角。用代价函数C(xl,xr)衡量左眼视图上的边缘像素点xl和右眼视图的边缘像素点xr之间的像素差异，在同一水平上寻找左右眼视图的候选像素匹配对，候选像素匹配对还需经过左右一致检查、次优检查、直方图检查确定最终的最佳像素匹配对。左右一致检查表示候选匹配对的两个像素互为在另一视图的最佳匹配像素点；次优检查为C(xl,xr)≤tsC(xl,x′r)，其中x′r为xl在右眼视图的次优匹配点，ts(0<ts<1)为阈值；直方图检查是以边缘为单位分析某一边缘上的像素点的视差，排除异常视差所对应的像素点。
(2)推测单可见边缘视差。第(1)步中已计算出视差的像素都是双可见的，但在前后景邻接区域，仍存在一些边缘仅仅在当前视图可见但在另一视图中不可见。对于左眼视图上的某一边缘ε，边缘上的部分像素的视差已在第一步中计算出d，边缘上的剩余像素的视差可暂且视为d，若某一剩余像素左侧有双可见的像素，但它们在右眼视图上的对应点的左右顺序不一致，那么这个剩余像素的视差确实为d，且其仅在左眼视图可见。对于右眼视图上的某一边缘ε，边缘上的部分像素的视差已在第一步中计算出d，边缘上的剩余像素的视差可暂且视为d，若某一剩余像素右侧有双可见的像素，但它们在左眼视图上的对应点的左右顺序不一致，那么这个剩余像素的视差确实为d，且其仅在右眼视图可见。
(3)推测更多双可见边缘视差。第(1)和(2)步已计算出大部分边缘像素的视差，但是仍有一些竖直边缘的像素和全部水平边缘的像素的视差未知，这一步就是进一步确定这些边缘上的像素的视差。对于左眼视图或右眼视图上某一视差未知的边缘，若在边缘两端能够寻找到视差一致的双可见的像素点，则该边缘的视差便能确定。
(4)扩张双可见边缘视差。类似广度搜索算法，对视差已知的边缘进行扩张，使得边缘周围的像素点的视差与该边缘一致。
中间视图模块的输入是左眼视图L和右眼视图R，以及来自于视差图模块生成的视差信息和可见信息，输出是中间视图C。视差图模块所输出的视差信息和可见信息主要涉及左右眼视图的边缘及其周围区域，因此中间视图的边缘及其周围区域可直接根据视差信息和可见信息渲染，中间视图的剩余区域可由已渲染区域推测出。
所述处理模块的输出为具有3D-2D同步显示效果的调制左右眼视图，但其输入有四种变体，如图2A-2D所示：
(1)如图2A所示，输入为左眼视图和右眼视图。此时左眼视图和右眼视图均传输给核心模块、视差图模块和中间视图模块；视差图模块生成的视差信息(即视差图)传输给核心模块和中间视图模块，视差图模块生成的可见信息传输给中间视图模块；中间视图模块生成的中间视图传输给核心模块；核心模块的输出为调制后的左右眼调制视图。
(2)如图2B所示，输入为左眼视图、右眼视图和视差图(即左右眼视差信息)。此时左眼视图分别传输给核心模块、视差图模块和中间视图模块，右眼视图分别传输给视差图模块和中间视图模块，视差图传输给核心模块；视差图模块生成的视差信息和可见信息传输给中间视图模块；中间视图模块生成的中间视图传输给核心模块；核心模块的输出为调制后的左右眼调制视图。
(3)如图2C所示，输入为左眼视图、右眼视图和中间视图。此时左眼视图和右眼视图均传输给核心模块和视差图模块；中间视图直接传输给核心模块；视差图模块生成视差信息并传输给核心模块；核心模块的输出为调制后的左右眼调制视图。
(4)如图2D所示，输入为左眼视图、右眼视图、视差图和中间视图。此时左眼视图、右眼视图、视差图和中间视图传输给核心模块；核心模块的输出为调制后的左右眼调制视图。
图2A-2D是以上为左眼视图输入，下为右眼视图输入为例说明，但不限于此，由于左右眼的对称性，在另外一种情况，图2A-2D的左右眼视图可以对调，即以上为右眼视图输入，下为左眼视图输入，同样可以得到想要的结果，应可理解。
本发明提供能够应用在传统3D显示硬件的3D-2D同步显示系统的一种具体实施例，该实施例考虑最苛刻的情况，即仅向显示系统输入原左右眼视图，而不输入视差图和中间视图。如图1所示，该实施例包含存储模块11、处理模块12和显示模块13，各个模块的具体工作流程为：
(1)存储模块11将原左眼视图L和右眼视图R发送给处理模块12。
(2)处理模块12内部的视差图模块121接收存储模块11发送的原左右眼视图L和R，经过计算双可见边缘视差、推测单可见边缘视差、推测更多双可见边缘视差和扩张双可见视差四个步骤生成视差信息和可见信息，将视差信息和可见信息发送给中间视图模块122，将视差信息发送给核心模块123；处理模块12内部的中间视图模块122接收存储模块11发送的原左右眼视图L和R，以及接收视差图模块121发送的视图信息和可见信息，经过渲染骨架区域和渲染剩余区域两个步骤生成中间视图，将中间视图发送给核心模块123；核心模块123接收存储模块11发送的原左右眼视图L和R，接收视差图模块121发送的视差信息，接收中间视图模块122发送的中间视图，生成调制后的左右眼视图Pl和Pr，并将其发送给显示模块13.
(3)显示模块13接收处理模块12发送的调制左右眼视图Pl和Pr，将其在显示屏幕131上以特定的空间或者时间播放：若显示模块13为时分式3D显示硬件，调制左右眼视图Pl和Pr在屏幕上以至少60Hz的速度交替播放(意味着屏幕刷新率至少120Hz)；若显示模块13为空分式显示硬件，调制左右眼视图Pl和Pr在屏幕上以不同的光偏振方向或者波长范围播放。3D眼镜132能将屏幕发出的光信号分割成调制左右眼视图Pl和Pr，观测者佩戴3D眼镜能够使左右眼分别接收调制左右眼视图Pl和Pr，从而形成3D视觉，观测者不配戴3D眼镜时双眼都会接收调制左右眼视图Pl和Pr，调制左右眼视图Pl和Pr中的视差诱导成分相互叠加并抵消，此时观测者会感知到清晰的2D图像。
处理模块12中的视差图模块121的具体工作步骤如下：
(1)计算双可见边缘视差。使用Canny边缘检测算子分别计算出左右眼视图L和R的边缘像素集合Br和Bl，使用Sobel算子计算边缘像素的梯度方向，根据梯度方向筛选边缘像素集合Br和Bl，得到水平方向的边缘像素集合Brθ和Blθ，其中θ表示梯度方向与水平方向的最大夹角，这里θ取5/12π。定义左眼视图像素xl和右眼视图像素xr的代价函数为
其中
和
表示水平梯度和竖直梯度，||·||1为
范数，这里系数λ取0.9。给定左眼视图的边缘像素点xl∈Blθ，在右眼视图的同一水平上寻找xr使得它们的代价函数C(xl,xr)最小。此时匹配对(xl,xr)为候选的最佳匹配对，要想成为最佳匹配对，还需经过左右一致检查，次优检查，和直方图分析检查：左右一致检查为固定xr，在左眼视图上寻找使得代价函数最小的边缘点也是xl；次优检查为右眼视图的任意边缘像素点x′r≠xr，都有C(xl,xr)≤tsC(xl,x′r)，这里ts取0.3；直方图检查为对左眼视图以边缘分析已获得的视差，若某一视差对应的像素数目小于3，则该视差被认为异常视差，所对应的像素的视差重新变为未知。将在该步骤中所有的视差已知的像素放入集合
集合
中的元素形式为(xl,xr,2)，其中2表示像素匹配对双可见。
(2)推测单可见边缘视差。在左眼视图L中的单可见像素是左可见的，即仅在左眼视图内可见，在右眼视图内不可见；在右眼视图R中的单可见像素是右可见的，即仅在右眼视图内可见，在左眼视图内不可见。这里仅叙述推测左眼视图的左可见边缘，推测右眼视图的右可见边缘与之类似。对于左眼视图的一条边缘
其上的部分像素的视差在第(1)步中确定为d，对于视差未知的剩余像素x∈ε，假设其视差为d，若像素x右侧存在双可见像素x′使得x+d>x′+Dl(x′)，则认为像素x被像素x′阻挡。若边缘ε的某一连续片段上被阻挡的像素超过3个，则认定该连续片段为左可见的，将该连续片段更新至集合
中，元素形式为(x,x+d,0)，其中0表示该像素是左可见的。类似地，若像素匹配对是右可见的，元素形式为(x-d,x,1)。
(3)推测更多双可见边缘视差。第(1)和(2)步仅考虑了部分竖直方向的边缘，全部水平方向的边缘像素和部分竖直方向的边缘像素的视差还未知。给定某一边缘ε，其上的像素的视差均暂时未知，如果边缘ε两端有已知的双可见的且视差一致的像素点，假设视差为d，则该边缘ε的视差被确定为d，将该边缘更新至集合
(4)扩张双可见边缘。边缘及其周围往往像素颜色变化剧烈，含有大量高空间频率成分，核心模块123主要针对边缘及其周围像素进行调制。从所有的已知视差的像素点出发，以广度扩张的形式扩张，扩张深度为60。
处理模块12中的中间视图模块122的具体工作步骤如下：
(1)渲染骨架区域。将集合
中的每一元素均对应左眼视图L或右眼视图R中像素直接映射至中间视图上，组成中间视图的骨架部分。
(2)渲染剩余区域。中间视图骨架区域的视差信息和可见信息均可知，利用这些信息广度扩张骨架区域，直至全部渲染生成中间视图C。
处理模块12中的核心模块123的具体工作步骤如下：集合
仅包含左右眼视图中的边缘及其周围像素的视差，该步骤中仅对这些像素调制。对于
按如下方式调制左眼视图上的像素xl：
其中
表示原左眼图像L被核为σ(xl,xr)的高斯滤波器平滑滤波。同样，按如下方式调制右眼视图上的像素xr：
提供以上实施例仅仅为了帮助本领域的技术人员进一步理解本发明，但不以任何形式限制本发明，本发明的范围由权利要求限定，不脱离本发明的精神和原理而做出的各种等同替换和修改，均应覆盖在本发明的范围之内。
Claims (8)
1.一种3D-2D同步显示方法，其特征在于，包括以下步骤：
接收左眼视图和右眼视图，中间视图，左视差图和右视差图，进行逐像素调制，得到左眼调制视图和右眼调制视图；其中，根据左眼视图和右眼视图，首先计算双可见边缘视差，然后推测单可见边缘视差，再然后推测更多双可见边缘视差，最后扩张双可见视差，生成左视差图和右视差图，以及可见信息；其中计算双可见边缘视差方法为：对左眼视图和右眼视图，利用边缘检测算法获得边缘像素点集合；用代价函数衡量左眼视图上的边缘像素点和右眼视图的边缘像素点之间的像素差异，在同一水平上寻找左右眼视图的候选像素匹配对；候选像素匹配对经过左右一致检查，次优检查，以及直方图检查，确定最终的最佳像素匹配对；推测单可见边缘视差方法为：对于左眼视图上的某一边缘，该边缘上的部分像素的视差d由计算双可见边缘视差方法的衡量像素差异时得到，对于边缘上的剩余像素，若该剩余像素左侧有双可见的像素，且在右眼视图上的对应点的左右顺序不一致，则该剩余像素的视差判为d，且仅在左眼视图可见；对于右眼视图上的某一边缘，该边缘上的部分像素的视差d由计算双可见边缘视差方法的衡量像素差异时得到，对于边缘上的剩余像素，若该剩余像素右侧有双可见的像素，且在左眼视图上的对应点的左右顺序不一致，则该剩余像素的视差判为d，且仅在右眼视图可见；推测更多双可见边缘视差方法为：对于左眼视图和右眼视图上的视差未知的一些竖直边缘的像素和全部水平边缘的像素，若在该视差未知的像素的边缘两端找到视差一致的双可见的像素点，则确定该边缘的视差；扩张双可见视差方法为：对视差已知的边缘及其周围像素进行调制，基于已知视差的像素点进行广度扩张，使边缘周围的像素点的视差与该边缘一致；
将左眼调制视图和右眼调制视图在显示屏幕上播放，对于佩戴3D眼镜的观看者同步呈现一3D图像，对于裸眼的观看者同步呈现一2D图像；
依据如下公式进行逐像素调制：
其中，Pl和Pr表示左眼调制视图和右眼调制视图，C表示中间视图，Dl和Dr表示左视差图和右视差图，x表示像素，Lσ()和Rσ()表示左眼视图和右眼视图经过平滑滤波后的图像，σ(Dl(x))和σ(Dr(x))表示平滑程度大小。
2.如权利要求1所述的方法，其特征在于，代价函数的公式如下：
其中，C(xl,xr)表示代价函数，xl和xr表示左右眼视图上的边缘像素点，L和R表示左右眼视图，
和
表示水平梯度和竖直梯度，||·||1表示
范数，λ为系数。
3.如权利要求1或2所述的方法，其特征在于，左右一致检查是指候选像素匹配对的两个像素互为在另一视图的最佳匹配像素点；次优检查是指代价函数C(xl,xr)≤tsC(xl,x′r)，其中x′r为xl在右眼视图的次优匹配点，ts为阈值，0<ts<1；直方图检查是指以边缘为单位分析某一边缘上的像素点的视差，排除异常视差所对应的像素点。
4.如权利要求1所述的方法，其特征在于，推测单可见边缘视差方法中，判断仅在左眼视图可见的方法为：若剩余像素x右侧存在双可见的像素x′使得x+d>x′+Dl(x′)，Dl表示左视差图，则认为像素x被像素x′阻挡，若边缘的某一连续片段上被阻挡的像素超过3个，则认定该连续片段为仅在左眼视图可见；判断仅在右眼视图可见的方法为：若剩余像素x左侧存在双可见的像素x′使得x+d>x′+Dr(x′)，Dr表示右视差图，则认为像素x被像素x′阻挡，若边缘的某一连续片段上被阻挡的像素超过3个，则认定该连续片段为仅在右眼视图可见。
5.如权利要求1所述的方法，其特征在于，根据左眼视图和右眼视图，左视差图和右视差图，以及在计算生成左视差图和右视差图时得到的可见信息，通过渲染骨架区域和渲染剩余区域，生成中间视图；其中：
渲染骨架区域方法为：将边缘像素点集合中的每一元素均对应左眼视图或右眼视图中像素直接映射至中间视图上，组成中间视图的骨架部分；
渲染剩余区域方法为：利用中间视图骨架区域的视差信息和可见信息广度扩张骨架区域，直至全部渲染。
6.如权利要求1所述的方法，其特征在于，左眼调制视图和右眼调制视图在显示屏幕上以至少60Hz的频率交替播放，屏幕刷新率至少为120Hz。
7.一种3D-2D同步显示系统，其特征在于，包括：
存储模块，用于存储原3D视频内容或者经处理后的左眼调制视图和右眼调制视图，该原3D视频内容至少包括左眼视图和右眼视图；
处理模块，包括视差图模块和核心模块，该视差图模块，用于根据左眼视图和右眼视图，首先计算双可见边缘视差，然后推测单可见边缘视差，再然后推测更多双可见边缘视差，最后扩张双可见视差，对应生成左视差图和右视差图，以及选择生成可见信息；其中计算双可见边缘视差方法为：对左眼视图和右眼视图，利用边缘检测算法获得边缘像素点集合；用代价函数衡量左眼视图上的边缘像素点和右眼视图的边缘像素点之间的像素差异，在同一水平上寻找左右眼视图的候选像素匹配对；候选像素匹配对经过左右一致检查，次优检查，以及直方图检查，确定最终的最佳像素匹配对；推测单可见边缘视差方法为：对于左眼视图上的某一边缘，该边缘上的部分像素的视差d由计算双可见边缘视差方法的衡量像素差异时得到，对于边缘上的剩余像素，若该剩余像素左侧有双可见的像素，且在右眼视图上的对应点的左右顺序不一致，则该剩余像素的视差判为d，且仅在左眼视图可见；对于右眼视图上的某一边缘，该边缘上的部分像素的视差d由计算双可见边缘视差方法的衡量像素差异时得到，对于边缘上的剩余像素，若该剩余像素右侧有双可见的像素，且在左眼视图上的对应点的左右顺序不一致，则该剩余像素的视差判为d，且仅在右眼视图可见；推测更多双可见边缘视差方法为：对于左眼视图和右眼视图上的视差未知的一些竖直边缘的像素和全部水平边缘的像素，若在该视差未知的像素的边缘两端找到视差一致的双可见的像素点，则确定该边缘的视差；扩张双可见视差方法为：对视差已知的边缘及其周围像素进行调制，基于已知视差的像素点进行广度扩张，使边缘周围的像素点的视差与该边缘一致；该核心模块用于接收左眼视图和右眼视图，中间视图，左视差图和右视差图，依据如下公式进行逐像素调制，得到左眼调制视图和右眼调制视图；
其中，Pl和Pr表示左眼调制视图和右眼调制视图，C表示中间视图，Dl和Dr表示左视差图和右视差图，x表示像素，Lσ()和Rσ()表示左眼视图和右眼视图经过平滑滤波后的图像，σ(Dl(x))和σ(Dr(x))表示平滑程度大小，与像素x上的绝对视差正相关；
显示模块，包括显示屏幕，用于播放左眼调制视图和右眼调制视图，对于佩戴3D眼镜的观看者同步呈现一3D图像，对于裸眼的观看者同步呈现一2D图像。
8.如权利要求7所述的系统，其特征在于，还包括中间视图模块，用于根据左眼视图和右眼视图，以及从视差图模块收到的左视差图、右视差图和可见信息，通过渲染骨架区域和渲染剩余区域，生成中间视图，并将生成的中间视图传输给核心模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110172879.8A CN113014902B (zh) | 2021-02-08 | 2021-02-08 | 3d-2d同步显示方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110172879.8A CN113014902B (zh) | 2021-02-08 | 2021-02-08 | 3d-2d同步显示方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113014902A CN113014902A (zh) | 2021-06-22 |
| CN113014902B true CN113014902B (zh) | 2022-04-01 |
Family
ID=76384135
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110172879.8A Active CN113014902B (zh) | 2021-02-08 | 2021-02-08 | 3d-2d同步显示方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113014902B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117596381A (zh) * | 2024-01-18 | 2024-02-23 | 江西科骏实业有限公司 | 显示内容的控制方法、装置、终端设备及计算机存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101496405A (zh) * | 2006-08-22 | 2009-07-29 | 孙犁 | 二维和三维显示器 |
| CN102075773A (zh) * | 2010-11-25 | 2011-05-25 | 深圳市创凯电子有限公司 | 立体与平面图像混合信号在超大屏幕上显像的同步方法 |
| CN102164291A (zh) * | 2010-02-22 | 2011-08-24 | 深圳华映显示科技有限公司 | 同时显示二维影像和三维影像的方法及显示系统 |
| WO2011125726A1 (ja) * | 2010-03-31 | 2011-10-13 | シャープ株式会社 | 立体映像表示装置、立体映像表示システム |
| JP2012003123A (ja) * | 2010-06-18 | 2012-01-05 | Funai Electric Co Ltd | ３次元映像表示装置 |
| CN103563363A (zh) * | 2011-05-19 | 2014-02-05 | 汤姆逊许可公司 | 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示 |
| CN103718550A (zh) * | 2011-08-12 | 2014-04-09 | 阿尔卡特朗讯 | 3d显示装置、方法和结构 |
| CN104023223A (zh) * | 2014-05-29 | 2014-09-03 | 京东方科技集团股份有限公司 | 显示控制方法、装置及系统 |
| CN105513064A (zh) * | 2015-12-03 | 2016-04-20 | 浙江万里学院 | 一种基于图像分割和自适应权重的立体匹配方法 |
| CN110460836A (zh) * | 2019-09-17 | 2019-11-15 | 华拓域科技有限公司 | 一种使用单一同步信息的3d和2d画面显示系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013158322A1 (en) * | 2012-04-18 | 2013-10-24 | The Regents Of The University Of California | Simultaneous 2d and 3d images on a display |
-
2021
- 2021-02-08 CN CN202110172879.8A patent/CN113014902B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101496405A (zh) * | 2006-08-22 | 2009-07-29 | 孙犁 | 二维和三维显示器 |
| CN102164291A (zh) * | 2010-02-22 | 2011-08-24 | 深圳华映显示科技有限公司 | 同时显示二维影像和三维影像的方法及显示系统 |
| WO2011125726A1 (ja) * | 2010-03-31 | 2011-10-13 | シャープ株式会社 | 立体映像表示装置、立体映像表示システム |
| JP2012003123A (ja) * | 2010-06-18 | 2012-01-05 | Funai Electric Co Ltd | ３次元映像表示装置 |
| CN102075773A (zh) * | 2010-11-25 | 2011-05-25 | 深圳市创凯电子有限公司 | 立体与平面图像混合信号在超大屏幕上显像的同步方法 |
| CN103563363A (zh) * | 2011-05-19 | 2014-02-05 | 汤姆逊许可公司 | 立体视觉图像的自动转换以便允许同时进行图像的立体视觉和平面视觉显示 |
| CN103718550A (zh) * | 2011-08-12 | 2014-04-09 | 阿尔卡特朗讯 | 3d显示装置、方法和结构 |
| CN104023223A (zh) * | 2014-05-29 | 2014-09-03 | 京东方科技集团股份有限公司 | 显示控制方法、装置及系统 |
| CN105513064A (zh) * | 2015-12-03 | 2016-04-20 | 浙江万里学院 | 一种基于图像分割和自适应权重的立体匹配方法 |
| CN110460836A (zh) * | 2019-09-17 | 2019-11-15 | 华拓域科技有限公司 | 一种使用单一同步信息的3d和2d画面显示系统 |
Non-Patent Citations (1)
| Title |
|---|
| 3D+2DTV: 3D DISPLAYS WITH NO GHOSTING FOR VIEWERS WITHOUT GLASSES;Steven Scher，et al;《ACM Transactions on Graphics》;20130704;第32卷(第3期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113014902A (zh) | 2021-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8488869B2 (en) | Image processing method and apparatus | |
| DE102011057187B4 (de) | Stereoskopische Bildanzeigevorrichtung und Verfahren zum Einstellen eines stereoskopischen Bildes derselben | |
| EP2332340B1 (en) | A method of processing parallax information comprised in a signal | |
| US7085410B2 (en) | Image processing unit for and method of generating a first output image and a second output image and image display apparatus provided with such an image processing unit | |
| US7440004B2 (en) | 3-D imaging arrangements | |
| EP3350989B1 (en) | 3d display apparatus and control method thereof | |
| Vázquez et al. | Stereoscopic imaging: filling disoccluded areas in depth image-based rendering | |
| US9380284B2 (en) | Image processing method, image processing device and recording medium | |
| EP2544459A1 (en) | Stereoscopic video display device and operation method of stereoscopic video display device | |
| CN102932662B (zh) | 单目转多目的立体视频生成方法、求解深度信息图以及生成视差图的方法 | |
| TWI651960B (zh) | 編碼/解碼視訊資料信號之方法與編碼器/解碼器及相關之視訊資料信號、視訊資料載體及電腦程式產品 | |
| CN101103380A (zh) | 深度感知 | |
| Patterson | 54.1: Invited Paper: Human Factors of Stereoscopic Displays | |
| US20150085087A1 (en) | Method and device for correcting distortion errors due to accommodation effect in stereoscopic display | |
| JP2014515569A (ja) | 両眼視画像の両眼視用および単眼視用の同時表示を可能にするための該両眼視画像の自動変換 | |
| US9251564B2 (en) | Method for processing a stereoscopic image comprising a black band and corresponding device | |
| CN113014902B (zh) | 3d-2d同步显示方法及系统 | |
| Ideses et al. | New methods to produce high quality color anaglyphs for 3-D visualization | |
| Tam et al. | Depth image based rendering for multiview stereoscopic displays: Role of information at object boundaries | |
| Fezza et al. | Perceptually driven nonuniform asymmetric coding of stereoscopic 3d video | |
| CN102196276A (zh) | 一种完全立体电视图像显示方案 | |
| Winkler et al. | Stereoscopic image quality compendium | |
| JP2015149547A (ja) | 画像処理方法、画像処理装置、及び電子機器 | |
| KR102142480B1 (ko) | 3차원영상 표시장치 및 그 구동방법 | |
| Nam et al. | Hole‐filling methods using depth and color information for generating multiview images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |