CN105306919A - 立体图像合成方法及装置 - Google Patents
立体图像合成方法及装置 Download PDFInfo
- Publication number
- CN105306919A CN105306919A CN201410474168.6A CN201410474168A CN105306919A CN 105306919 A CN105306919 A CN 105306919A CN 201410474168 A CN201410474168 A CN 201410474168A CN 105306919 A CN105306919 A CN 105306919A
- Authority
- CN
- China
- Prior art keywords
- image
- disparity
- disparity map
- value
- adjusted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 72
- 230000015572 biosynthetic process Effects 0.000 claims description 18
- 238000003786 synthesis reaction Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 4
- 238000005728 strengthening Methods 0.000 claims 2
- 101150013335 img1 gene Proteins 0.000 description 37
- 101150071665 img2 gene Proteins 0.000 description 35
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种立体图像合成方法及装置,立体图像合成方法包括以下步骤:接收对应于第一视角的第一图像、以及对应于第二视角的图像。取得对应于第一图像以及第二图像的视差图,并且根据视差图判断图像内容中的零视差区域对应零视差区域调整视差图为已位移视差图。根据已位移视差图以及预设最大范围线性或非线性地调整已位移视差图得到已调整视差图。根据已调整视差图、第一图像以及第二图像产生多个虚拟视角图像。根据已调整视差图加强虚拟视角图像的二维深度线索。
Description
技术领域
本发明是有关于一种图像处理方法以及装置,且特别是有关于一种立体图像合成方法及装置。
背景技术
随着科技的日新月异,电视等大型显示器的显示技术也走向了新的时代,越来越多的显示器制造厂商推出了可以显示立体图像/视频的显示器,使得一般使用者也可在电影院以外的地方体验到立体图像的享受。然而,立体图像对于人眼的图像舒适度一直没有获得太大的解决。这是因为,人眼的焦距与视轴不配称所造成的脑内错乱(vergenceaccommodationconflict)。一般而言,为了要避免这样的情况,显示器在设置时则可能将抑制立体场景的场景深度。虽这样的设置可以提高使用者于观看时的舒适度,但立体效果也因此而降低了许多。
发明内容
本发明提供一种立体图像合成方法及装置,可提供更适合人眼观看的立体视频图像。
本发明的立体图像合成方法包括以下步骤。首先,接收对应于一第一视角的一第一图像以及对应于一第二视角的一第二图像。然后,取得对应于图像内容的一视差图,并且根据视差图判断图像内容中的一零视差区域,其中视差图包括对应于第一图像以及第二图像的多个视差值。接着,对应零视差区域调整视差图为一已位移视差图。并且,根据已位移视差图以及一预设最大范围线性或非线性地调整已位移视差图得到一已调整视差图。再者,根据已调整视差图、第一图像以及第二图像产生多个虚拟视角图像。以及,根据已调整视差图加强虚拟视角图像的一二维深度线索。
本发明的立体图像合成装置包括:一图像接收单元、一数据处理单元以及一图像输出单元。图像接收单元,接收对应于第一视角的一第一图像以及对应于第二视角的一第二图像。数据处理单元耦接图像接收单元。一图像输出单元。耦接数据处理单元。数据处理单元取得对应于第一图像以及第二图像的一视差图,并且根据视差图判断图像内容中的一零视差区域,其中视差图包括对应于图像内容的多个视差值。数据处理单元对应零视差区域调整视差图为一已位移视差图。数据处理单元根据已位移视差图以及一预设最大范围线性或非线性地调整已位移视差图得到一已调整视差图。数据处理单元根据已调整视差图、第一图像以及第二图像产生多个虚拟视角图像。数据处理单元根据已调整视差图加强虚拟视角图像的一二维深度线索。图像输出单元输出虚拟视角图像。
基于上述,本发明提供一种立体图像合成方法及装置,可根据人眼的视觉特性调整立体图像中的深度,使得图像的观看者得以在不失去过多立体效果的情况下减少脑内错乱的问题。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合附图作详细说明如下。
附图说明
图1为根据本发明一实施例所示出立体图像合成方法的步骤流程图;
图2为根据本发明一实施例所示出立体图像合成装置的功能方块图;
图3A为根据本发明一实施例所示出显示器、观看者与根据视差图所显示的物件的关系示意图;
图3B为根据本发明一实施例所示出显示器、观看者与根据已位移视差图所显示的物件的关系示意图;
图3C为根据本发明一实施例所示出显示器、观看者与根据已调整视差图所显示的物件的关系示意图;
图4A、4B为根据本发明一实施例所示出虚拟视角图像的示意图。
附图标记说明:
10:立体图像合成装置;
110:图像接收单元;
120:图像处理单元;
130:图像输出单元;
300:显示器;
IMG1、IMG2:图像;
VI、40、41:虚拟视角图像;
OB1~OB4、OB3’:物件;
VR:观看者;
DIS:视差距离;
d:已位移视差值;
d':已调整视差值;
dmax:已位移视差最大值;
dmax':为预设最大视差值;
dmax":已调整视差最大值;
dmin:已位移视差最小值;
dmin':预设最大视差值;
dmin":已调整视差最小值;
S101~S106:步骤。
具体实施方式
图1为根据本发明一实施例所示出立体图像合成方法的步骤流程图。请参照图1,首先在步骤S101时,接收对应于第一视角的一第一图像以及对应于第二视角的一第二图像,然后在步骤S102时,取得对应于第一图像以及第二图像的一视差图,并且根据视差图判断一零视差区域,其中视差图包括对应于第一图像以及第二图像的多个视差值。接着在步骤S103时,对应零视差区域调整视差图为一已位移视差图。并且在步骤S104时,根据已位移视差图以及一预设最大范围线性或非线性地调整已位移视差图得到一已调整视差图。再者在步骤S105时,根据已调整视差图、第一图像以及第二图像产生多个虚拟视角图像。以及在步骤S106时,加强虚拟视角图像的二维深度线索。
图2为根据本发明一实施例所示出立体图像合成装置的功能方块图。请参照图2,立体图像合成装置10包括图像接收单元110、数据处理单元120以及图像输出单元130。图像接收单元110接收对应于第一视角的第一图像IMG1以及对应于第二视角的第二图像IMG。数据处理单元120耦接图像接收单元110。图像输出单元130耦接数据处理单元120。数据处理单元120取得对应于图像内容的视差图DM,并且根据视差图DM判断图像内容中的零视差区域,其中视差图DM包括对应于图像内容的多个视差值。
数据处理单元120对应零视差区域调整视差图DM为已位移视差图。数据处理单元120根据已位移视差图以及预设最大范围线性或非线性地调整已位移视差图得到已调整视差图。数据处理单元120根据已调整视差图合成第一图像IMG1以及第二图像IMG2或产生多个虚拟视角图像VI。数据处理单元120加强虚拟视角图像VI的二维深度线索。图像输出单元130输出虚拟视角图像VI。
简单来说,在本发明所提供的立体图像合成方法以及装置中,主要可以分为在图像合成步骤(图1步骤S105)之前的预处理程序(对应于图1步骤S101~S104)以及在图像合成步骤之后的后处理程序(对应于图1步骤S106)。在上述的预处理程序中,主要是将立体图像的视差调整至人眼可舒适的观看的范围。而在上述的后处理程序中,则是在虚拟视角图像合成之后,再根据人眼的特性而对立体图像更进一步的进行处理。以下则将针对各步骤进行详细的说明。
在本发明中,第一图像IMG1与第二图像IMG2对应于一相同的图像内容(例如特定物体或是特定场景),分别以第一视角以及第二视角的角度所获取而得到。另外,在本发明中所提及的图像(例如第一图像IMG1以及第二图像IMG2)可为一视频流中的一图框(frame),例如第一图像IMG1为处于第一视角的一摄影机所拍摄的视频流中的一图框,而第二图像IMG2为处于第二视角的摄影机所拍摄的视频流中的图框。又,第一图像IMG1与第二图像IMG2也可分别为一静态图像,本发明并不限定于此。
请参照图1以及图2,首先,立体图像合成装置10的图像接收单元110将接收第一图像IMG1以及第二图像IMG2(步骤S101)。其中,第一图像IMG1以及第二图像IMG2可被视为对同一拍摄物由不同的两个视角(即,第一视角以及第二视角)所拍摄得到的图像内容。例如,第一图像IMG1可对应于使用者左眼所看到的图像内容,以及第二图像IMG2可对应于使用者右眼所看到的图像内容。
在本实施例中,图像接收单元110仅接收了上述的第一图像IMG1以及第二图像IMG2,但在本发明的其他实施例中,图像接收单元110也可同时接收与第一图像IMG1以及第二图像IMG2同一时间点以其他视角拍摄的多个图像中的部分或全部,即,多视角图像(Multi-viewimages),并同时在接收这些图像后传送至数据处理单元120,本发明并不限定于上述的设置。基本上,若是对应于同一时间点视角不同的图像越多,数据处理单元120便可合成具有更高品质的虚拟视角图像VI。
接着,数据处理单元120接收上述的第一图像IMG1以及第二图像IMG2后,数据处理单元120取得对应于第一图像IMG1以及第二图像IMG2中图像内容的视差图,并且根据视差图判断视差图中的零视差区域(步骤S102)。其中,视差图包括对应于第一图像IMG1以及第二图像IMG2中图像内容中每一个像素的视差值。
上述的视差图可以以多种方式取得,例如,可由数据处理单元120于取得对应于第一图像IMG1以及第二图像IMG2后分析比较第一图像IMG1以及第二图像IMG2来得到视差图,或是由与第一图像IMG1以及第二图像IMG2相关的信息转换得到。
另一方面,数据处理单元120可通过图像接收单元110于接收第一图像IMG1以及第二图像IMG2时,也同时接收对应于第一图像IMG1以及第二图像IMG2的立体对应信息(stereocorrespondenceinformation),数据处理单元120则可将上述的立体对应信息转换为视差图。立体对应信息可为一深度图(depthmap),包括对应于第一图像IMG1以及第二图像IMG2中图像内容每一个点的相对深度值。例如,此深度图可为第一图像IMG1相对于第二图像IMG2的深度图。或者,此立体对应信息也可包括第一图像IMG1相对于一另一视角的虚拟图像的深度图以及第二图像IMG2相对于同一虚拟图像的深度图,本发明并不限定于上述。
所以,简单来说,在本发明中,图像接收单元110可接收两个视角不同的图像(例如,分别代表左眼所见的第一图像IMG1以及右眼所见的第二图像IMG2)、两个视角不同的图像以及两个图像所对应的视差图(对应于立体对应信息)或深度图(各自对应的视差图或是两者间相对的视差图)、多视角图像中的任两个视角不同的图像或者多视角图像中的任两个视角不同的图像及其所对应的视差图或深度图,但本发明并不限定于上述。
另一方面,由于在图像内容中,对应于单一物件的各像素于图像内容中的视差(或对应的深度)相似,在取得第一图像IMG1以及第二图像IMG2所对应的图像内容的视差图后,数据处理单元120可根据视差图切割第一图像IMG1以及第二图像IMG2所对应的图像内容为多个物件区域,其中各个物件区域内的深度值相似。在将数据处理单元120。数据处理单元120在将第一图像IMG1以及第二图像IMG2所对应的图像内容切割成多个物件区域后,便可进一步的判定这些物件区域中之一为零视差区域。
零视差区域所对应的深度值也为0,即,对应于与显示器的萤幕重合的平面上。换句话说,即为在显示立体图像(例如,上述的虚拟视角图像)时,观看者可以最不费力的状态观看的区域。数据处理单元120则可将上述的物件区域中对应于观看者的目光焦点的物件区域判定为零视差区域,并且进一步将此物件区域的视差值调整为零,使得当观看者可以最不费力的状态观看。
而数据处理单元120则可根据一兴趣区域中判定物件区域中之一为零视差区域。其中,兴趣区域可由数据处理单元120根据图像内容及其物件区域执行一兴趣区域检测程序(例如,利用一特定演算法进行计算)而得,也可由使用者输入其感兴趣的区域(regionofinteresting,简称ROI)。值得注意的是,上述的使用者可为立体图像的观看者外,也可为此图像内容(即,第一图像IMG1、第二图像IMG2,或对应于第一图像IMG1、第二图像IMG2的第一视频流以及第二视频流)的产生者,于产生此图像内容时所指定,例如指定零视差区域于图像画面中的主要物件上,或是产生者欲观看者聚焦的物件上。图像内容的产生者即可通过操作产生包括兴趣区域的一操作信号(或操作信息)附加于第一图像IMG1、第二图像IMG2或立体对应信息,一同由图像接收单元110所接收并传递至数据处理单元120。
另外,为了避免聚焦的物件区域切换过于频繁,数据处理单元120也可在参考上述兴趣区域外,也参考对应于第一图像IMG1以及第二图像IMG2前一时间点的图像内容中的零视差区域(例如包括第一图像IMG1以及第二图像IMG2的视频流中,第一图像IMG1以及第二图像IMG2前一个时间点的图框)。数据处理单元120在选择性地根据上述的信息(图像内容中的各物件区域、检测各物件区域计算产生的兴趣区域、由使用者指定的兴趣区域和/或前一个时间点的零视差区域等)来判定对应于第一图像IMG1以及第二图像IMG2的图像内容中的零视差区域。
在零视差区域决定后,数据处理单元120便可对应零视差区域调整视差图为已位移(shifted)视差图(步骤S103)。简单来说,即为对应零视差区域所既有的视差值来调整视差图中各物件区域的视差值。例如,将整个视差图中各物件区域的视差值全部减去零视差区域所既有的视差值来得到已位移视差图,但本发明并不限定上述的设置方式。
在调整视差图为已位移视差图后,数据处理单元120则可根据已位移视差图以及预设最大范围线性或非线性地调整已位移视差图得到一已调整视差图(步骤S104)。上述的预设最大范围包括了预设最大视差值以及预设最小视差值,分别对应于观看者(人眼)所能接受的最大视差值以及最小视差值。经实验可知,当超过人眼所能接受最大视差值以及最小视差值后,所合成的图像并无法增加观看者更多的立体感受,反而可能造成使用者脑内错乱的情形更加的严重。因此,通过根据预设最大范围线性或非线性地调整已位移视差图,则有助于增加使用者于观看三维立体图像时的舒适度。
而上述的预设最大范围可预设于数据处理单元120之中。在本发明一实施例中,立体图像合成装置10可被设置于一显示器中。在此实施例中,立体图像合成装置10则可通过显示器取得显示器的尺寸大小以及使用者与显示器之间的距离等信息,数据处理单元120即可通过这些信息计算得到此时观看者所能接受的最大视差范围,并以此最大视差范围设定/更新上述的预设最大范围。其中,使用者与显示器之间的距离可通过显示器的操作界面接收使用者的输入,或是直接以一检测器或摄像单元(未示出)检测取得,但本发明并不限定于上述的设置。
在本实施例中,数据处理单元120则可根据已位移视差图与上述的预设最大范围重新设定视差值的最大范围(即,已调整视差最大值以即已调整视差最小值),首先,数据处理单元120必须先设定已位移视差图中视差值最大者为已位移视差最大值,以及已位移视差图中视差值最小者为已位移视差最小值。而重新设定视差值的最大范围的动作可以下式(1)、(2)表示:
dmax"=MIN(dmax,dmax')(1)
dmin"=MAX(dmin,dmin')(2)
其中,dmax"即为已调整视差最大值,dmax'为预设最大视差值,以及dmax为已位移视差最大值。而dmin"则为已调整视差最小值,dmin'为预设最小视差值,以及dmin为已位移视差最小值。式(1)即表示已调整视差最大值dmax"等于已位移视差最大值dmax以及预设最大视差值dmax'中较小者,而式(2)即表示已调整视差最小值dmin"等于已位移视差最小值dmin以及预设最大视差值dmin'中较大者。
在取得已调整视差最大值dmax"以及已调整视差最小值dmin"后,数据处理单元120便可以根据已调整视差最大值dmax"以及已调整视差最小值dmin"线性或非线性地调整该已位移视差图得到已调整视差图。以下提供两种转换方式,其一为根据已调整视差最大值dmax"以及已调整视差最小值dmin"比例调整已位移视差图中各像素的视差值(即,已位移视差值),并可表示如下式(3)、(4):
d'=(d*dmax"/dmax),当dmax">d>0(3)
d'=(d*dmin"/dmin),when0>d>dmin"(4)
其中,d'即为已调整视差图中,对应于图像内容中的各像素的已调整视差值,d则为已位移视差图中,对应于图像内容中的各像素的已位移视差值。
另外一种转换方式为根据已调整视差最大值dmax"以及已调整视差最小值dmin"以指数方式调整已位移视差图中各像素的视差值,并可表示如下式(5)、(6):
d'=[(1+dmax")d/dmax-1],whend>0(5)
d'=[1-(1-dmin")d/dmin],whend<0(6)
而本发明并不限定仅使用上述两种方法之一进行转换,线性或非线性的调整已位移视差图的意义在于提供观看者可以更舒适的视觉享受。若欲更加简化上述的设置,在本发明一实施例中,数据处理单元120也直接设定超出预设最大范围的视差值为预设最大视差值或预设最小视差值。例如,若已位移视差图有一物件区域的视差值小于预设最小视差值,数据处理单元120则直接将物件区域中各像素的视差值设定为预设最小视差值,但本发明并不限定于上述的设置。
图3A至图3C则以图式的方式表示观看者、显示器与图像内容中视差值不同的物件之间的关系。为了解说方便,图3A~图3C中各物件虽以视差值作为表示,但图3A~图3C各物件的位置则是对应于各物件视差值所转换的深度值的位置。图3A为根据本发明一实施例所示出显示器、观看者与根据视差图所显示的物件的关系示意图。请参照图2及3A,在第一图像以及第二图像所对应的图像内容中,包括了物件OB1~OB4。在本实施例中,物件OB1为图像内容中具有最大视差值(深度值)的物件,物件OB2次之。而对观看者VR而言,物件OB1、OB2凹入显示器300中。物件OB4则为图像内容中具有最小视差值的物件,物件OB3次之。对观看者VR而言,物件OB3、OB4突出显示器300外。
在经过零视差区域的判断(例如图1步骤S102)后,物件OB3被判定为零视差区域,由于物件OB3并未位于显示器300的平面上,因此数据处理单元120则根据物件OB3与显示器300的平面的视差距离DIS产生已位移视差图,而根据已位移视差图所显示的物件OB1~OB4则如图3B所示。
图3B为根据本发明一实施例所示出显示器、观看者与根据已位移视差图所显示的物件的关系示意图。请参照图3B,在物件OB1~OB4从图3A所示位置位移视差距离DIS后,物件OB1~OB4则平行地位移深入显示器内。在图3B中,物件OB1与显示器300的平面之间的视差距离(对应于深度)即为式(1)中的已位移视差最大值dmax。同理,物件OB4与显示器300的平面之间的视差距离(对应于深度)即为式(2)中的已位移视差最小值dmin。而此时,物件OB2与显示器300的平面之间的视差距离则表示为同式(3)、(4)中的已位移视差d。
请继续参照图3B,在本实施例中,由数据处理单元120所预设的预设最大视差值dmax'和预设最大视差值dmin'则如图所示,其中预设最大视差值dmax'小于已位移视差最大值dmax,而预设最大视差值dmin'则也于已位移视差最小值dmin。则根据式(1)、(2),数据处理单元120则可判定已调整视差最大值dmax"即等于为预设最大视差值dmax',而已调整视差最小值dmin"则可判定等于已位移视差最小值dmin。数据处理单元120则可进一步的根据已调整视差最大值dmax"以及已调整视差最小值dmin"调整已位移视差图为已调整视差图(步骤S104)。
图3C为根据本发明一实施例所示出显示器、观看者与根据已调整视差图所显示的物件的关系示意图。图3C所示即为物件OB1~OB4根据已调整视差图所显示的结果。其中,物件OB1被调整于视差距离显示器300为已调整视差最大值dmax"的位置,由于已调整视差最小值dmin"等于已位移视差最小值dmin,物件OB4的位置则为被调整,与图3B所示相同。物件OB2的视差距离(即,已位移视差值)d介于0(显示器300的平面,物件OB3与零视差区域的位置)与已调整视差最大值dmax"之间,数据处理单元120则可通过式(3)得到已调整视差值d'。
请参照图1、2,在完成了视差图的调整后,数据处理单元120则根据已调整视差图合成第一图像以及第二图像以产生多个虚拟视角图像VI(步骤S105)并传送虚拟视角图像VI至图像输出单元,供显示器(例如图3A~3C所示显示器300)播放。而通过具有立体图像合成装置10的显示器300显示如图3C所示视差/深度关系的图像内容,观看者VR则可在享受立体图像(上述虚拟视角图像)的同时确保了观看者VR的舒适度。根据第一图像IMG1、第二图像IMG2(或更多视角的图像)以及已调整视差图产生虚拟视角图像VI的方法众多,在此则不赘述。
在本发明中,数据处理单元120更于传送虚拟视角图像VI至图像输出单元130以供播放前,加强虚拟视角图像的一二维深度线索(two-dimensioneddepthcue)(步骤S106)。所述的二维深度线索指的是,图像观看者于观看一二维图像(例如上述的第一图像IMG1、第二图像IMG2)时,藉以从直接从图像中所感受到的深度的线索,例如,物件的大小关系、清晰程度,或是物件间互相遮蔽的关系等。例如,在本实施例中,数据处理单元120利用强度不同的低通滤波处理以及调整图像内容中的零视差区域中物件的比例来增强二维深度线索。
图4A、4B为根据本发明一实施例所示出虚拟视角图像的示意图。其中,图4A所示虚拟视角图像40为经过步骤S106加强二维深度线索前的图像内容,而图4B所示虚拟视角图像41为经过步骤S106加强二维深度线索后的图像内容。请参照4A,虚拟视角图像40中主要包括了三个物件OB1~OB3,其中物件OB1为天,视差(深度)最深,物件OB2为山,视差值次之。而物件OB3为人,并且被被判断为零视差区域,视差为0。
再请参照图4B,数据处理单元120将首先对视差值不为0的区域进行调整。其中,视差值距离零视差区域越遥远的物件,数据处理单元120将施以越强程度的低通滤波,使得物件失焦程度随着远离零视差区域逐渐增强,使得观看者更能将焦点停留在零视差区域上。例如,物件OB1较物件OB2远,数据处理单元120则将对物件OB1施以强于物件OB2的低通滤波处理。其中,所述的低通滤波处理除了与上述的视差值有关外,也可同时根据每个时间点图像的的焦点移动速度、每个像素与焦点的距离程度等信息有关,但本发明并不限定于上述的设置内容。
再者,数据处理单元120则将调整图像内容中的零视差区域,也就是物件OB3的比例来增强二维深度线索。在本实施例中,由于物件OB3为人,与物件OB1、OB2(对应于天,山)距离甚远,数据处理单元120则判定将物件OB3的比例增大(从虚线示出的物件OB3的比例调整为实线示出物件OB3'的比例)。物件的大小也属于二维深度线索之一。由于人眼构造的关系,观看者会认为较大的物件距离自身距离较近,通过这样放大的调整,观看者则会认为物件OB3距离自身较近,具有略为跳出的效果。观看者对于虚拟视角图像的立体感则可因此增加,却不影响观看者的舒适程度。
综上所述,本发明提供了一种立体图像合成方法及装置,在合成立体图像(即上述的虚拟视角图像)时,考虑了人眼可接受的深度/视差范围,根据了人眼焦距和视轴的特性修正了图像合成的结果,使得观看者可以在舒适的情况下享受立体感十足的立体图像。其中,所述的立体图像合成装置更可整合于例如电视、智慧电视等显示器中,通过显示器中的储存单元储存设定,或由显示器的处理单元和/或输入输出界面取得所需的参数,使得合成得到的立体图像更能符合使用者的需求。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (12)
1.一种立体图像合成方法,其特征在于,包括:
接收对应于一第一视角的一第一图像以及对应于一第二视角的第二图像;
取得对应于该第一图像以及该第二图像的一视差图,并且根据该视差图判断一零视差区域,其中该视差图包括对应于该第一图像以及该第二图像的多个视差值;
对应该零视差区域调整该视差图为一已位移视差图;
根据该已位移视差图以及一预设最大范围线性或非线性地调整该已位移视差图得到一已调整视差图;
根据该已调整视差图、该第一图像以及该第二图像产生多个虚拟视角图像;以及
根据该已调整视差图加强该些虚拟视角图像的一二维深度线索。
2.根据权利要求1所述的立体图像合成方法,其特征在于,该判断该图像内容中的该零视差区域的步骤包括:
根据该些视差值将该视差图切割为多个物件区域;以及
根据一兴趣区域和/或一前一时间点的该零视差区域判断该图像内容中该些物件区域之一为该零视差区域。
3.根据权利要求2所述的立体图像合成方法,其特征在于,该判断该图像内容中的该零视差区域的步骤之前,所述方法还包括:
执行一兴趣区域检测程序以取得对应于该些物件区域之一的该兴趣区域,或接收一控制信号,并根据该控制信号产生该兴趣区域。
4.根据权利要求1所述的立体图像合成方法,其特征在于,该预设最大范围包括一预设最大视差值以及一预设最小视差值,以及根据该零视差区域以及该预设最大范围线性或非线性地调整该些视差值的步骤包括:
取得该已位移视差图中一已位移视差最大值以及一已位移视差最小值;
选择该已位移视差最大值以及该预设最大视差值中的较小值为一已调整视差最大值;
选择该已位移视差最小值以及该预设最小视差值中的较大值为一已调整视差最小值;以及
根据该已调整视差最大值以及该已调整视差最小值线性或非线性地调整该已位移视差图得到该已调整视差图。
5.根据权利要求1所述的立体图像合成方法,其特征在于,加强该些虚拟视角图像的该二维深度线索的步骤包括:
根据该已调整视差图对该些虚拟视角图像中该零视差区域外的部分进行一低通滤波处理。
6.根据权利要求1所述的立体图像合成方法,其特征在于,加强该些虚拟视角图像的该二维深度线索的步骤包括:
调整该零视差区域于该些虚拟视角图像中的比例。
7.一种立体图像合成装置,其特征在于,包括:
一图像接收单元,接收对应于一第一视角的一第一图像以及对应于一第二视角的一第二图像;
一数据处理单元,耦接该图像接收单元;以及
一图像输出单元,耦接该数据处理单元,
其中,该数据处理单元取得对应于该第一图像以及该第二图像的一视差图,并且根据该视差图判断的一零视差区域,其中该视差图包括对应于该第一图像以及该第二图像的多个视差值;
其中,该数据处理单元对应该零视差区域调整该视差图为一已位移视差图;
该数据处理单元根据该已位移视差图以及一预设最大范围线性或非线性地调整该已位移视差图得到一已调整视差图;
该数据处理单元根据该已调整视差图、该第一图像以及该第二图像以产生多个虚拟视角图像;
该数据处理单元根据该已调整视差图加强该些虚拟视角图像的一二维深度线索;以及
其中,该图像输出单元输出该些虚拟视角图像。
8.根据权利要求7所述的立体图像合成装置,其特征在于:
该数据处理单元根据该些视差值将该视差图切割为多个物件区域;以及
该数据处理单元根据一兴趣区域和/或前一时间点的该零视差区域判断该图像内容中该些物件区域之一为该零视差区域。
9.根据权利要求8所述的立体图像合成装置,其特征在于:
该数据处理单元执行一兴趣区域检测程序以取得对应于该些物件区域之一的该兴趣区域,或接收一控制信号,并根据该控制信号产生该兴趣区域。
10.根据权利要求7所述的立体图像合成装置,其特征在于:
该预设最大范围包括一预设最大视差值以及一预设最小视差值:
该数据处理单元取得该已位移视差图中一已位移视差最大值以及一已位移视差最小值;
该数据处理单元选择该已位移视差最大值以及该预设最大视差值中的较小值为一已调整视差最大值;
该数据处理单元选择该已位移视差最小值以及该预设最小视差值中的较大值为一已调整视差最小值;以及
该数据处理单元根据该已调整视差最大值以及该已调整视差最小值线性或非线性地调整该已位移视差图得到该已调整视差图。
11.根据权利要求7所述的立体图像合成装置,其特征在于:
该数据处理单元根据该已调整视差图对该些虚拟视角图像中该零视差区域外的部分进行一低通滤波处理。
12.根据权利要求7所述的立体图像合成装置,其特征在于:
该数据处理单元调整该零视差区域于该些虚拟视角图像中的比例。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW103119217A TWI566576B (zh) | 2014-06-03 | 2014-06-03 | 立體影像合成方法及裝置 |
TW103119217 | 2014-06-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105306919A true CN105306919A (zh) | 2016-02-03 |
Family
ID=54703315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410474168.6A Pending CN105306919A (zh) | 2014-06-03 | 2014-09-17 | 立体图像合成方法及装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9729845B2 (zh) |
CN (1) | CN105306919A (zh) |
TW (1) | TWI566576B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251403A (zh) * | 2016-06-12 | 2016-12-21 | 深圳超多维光电子有限公司 | 一种虚拟立体场景实现的方法、装置和系统 |
TWI628619B (zh) * | 2017-05-17 | 2018-07-01 | 國立交通大學 | 立體影像產生方法及其裝置 |
CN112822470A (zh) * | 2020-12-31 | 2021-05-18 | 济南景雄影音科技有限公司 | 基于人体图像跟踪的投影互动系统及方法 |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3247114A4 (en) * | 2015-01-21 | 2018-01-17 | Samsung Electronics Co., Ltd. | Method and apparatus for decoding inter-layer video, and method and apparatus for encoding inter-layer video |
US10057558B2 (en) * | 2015-09-04 | 2018-08-21 | Kabushiki Kaisha Toshiba | Electronic apparatus and method for stereoscopic display |
WO2017138209A1 (ja) * | 2016-02-12 | 2017-08-17 | ソニー株式会社 | 医療用画像処理装置、システム、方法及びプログラム |
CN106228613B (zh) * | 2016-06-12 | 2017-11-24 | 深圳超多维光电子有限公司 | 一种虚拟立体场景的构建方法、装置及立体显示设备 |
CN106228530B (zh) * | 2016-06-12 | 2017-10-10 | 深圳超多维光电子有限公司 | 一种立体摄影方法、装置及立体摄影设备 |
US10869015B2 (en) * | 2016-06-30 | 2020-12-15 | Intel Corporation | Method and apparatus for virtual reality depth retargeting |
KR102632185B1 (ko) | 2019-04-22 | 2024-02-01 | 레이아 인코포레이티드 | 시간 다중화 백라이트, 멀티뷰 디스플레이 및 방법 |
EP4006615A1 (en) * | 2020-11-30 | 2022-06-01 | Leica Instruments (Singapore) Pte. Ltd. | Imaging system |
US11570418B2 (en) | 2021-06-17 | 2023-01-31 | Creal Sa | Techniques for generating light field data by combining multiple synthesized viewpoints |
CN113538316B (zh) * | 2021-08-24 | 2023-08-22 | 北京奇艺世纪科技有限公司 | 图像处理方法、装置、终端设备以及可读存储介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739683A (zh) * | 2009-12-11 | 2010-06-16 | 北京大学 | 基于图分割和多线索融合的单幅图深度估计方法及其系统 |
CN102006494A (zh) * | 2010-11-26 | 2011-04-06 | 北京新岸线网络技术有限公司 | 一种3d视频信号调节方法及装置 |
CN102006493A (zh) * | 2010-11-26 | 2011-04-06 | 北京新岸线网络技术有限公司 | 一种3d视频图像的视差调节方法及装置 |
CN102034242A (zh) * | 2010-12-24 | 2011-04-27 | 清华大学 | 消逝点检测的平面图像立体转换深度生成方法和装置 |
CN102223556A (zh) * | 2011-06-13 | 2011-10-19 | 天津大学 | 一种多视点立体图像零视差校正方法 |
CN102271266A (zh) * | 2010-06-01 | 2011-12-07 | 英特尔公司 | 2d-3d共存的偏振式3d系统中的2d质量增强器 |
CN102479052A (zh) * | 2010-11-26 | 2012-05-30 | Lg电子株式会社 | 移动终端及其操作控制方法 |
CN102761761A (zh) * | 2011-04-28 | 2012-10-31 | 乐金显示有限公司 | 立体图像显示器及其立体图像调整方法 |
US20130009949A1 (en) * | 2011-07-05 | 2013-01-10 | Texas Instruments Incorporated | Method, system and computer program product for re-convergence of a stereoscopic image |
CN103248904A (zh) * | 2012-02-02 | 2013-08-14 | 承景科技股份有限公司 | 调整立体影像景深的方法及显示立体影像的方法及其装置 |
CN103270759A (zh) * | 2010-12-01 | 2013-08-28 | 高通股份有限公司 | 用于基于反馈的三维视频的零视差平面 |
CN103294387A (zh) * | 2012-02-23 | 2013-09-11 | 宏达国际电子股份有限公司 | 立体成像系统及其方法 |
CN103581425A (zh) * | 2012-08-09 | 2014-02-12 | Lg电子株式会社 | 移动终端及其控制方法 |
CN103636200A (zh) * | 2011-06-20 | 2014-03-12 | 松下电器产业株式会社 | 多视点图像生成装置、多视点图像生成方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8094927B2 (en) * | 2004-02-27 | 2012-01-10 | Eastman Kodak Company | Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer |
WO2010011557A2 (en) * | 2008-07-20 | 2010-01-28 | Dolby Laboratories Licensing Corporation | Encoder optimization of stereoscopic video delivery systems |
WO2010048632A1 (en) * | 2008-10-24 | 2010-04-29 | Real D | Stereoscopic image format with depth information |
JP5430266B2 (ja) * | 2009-07-21 | 2014-02-26 | 富士フイルム株式会社 | 画像表示装置および方法並びにプログラム |
US9445072B2 (en) | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
US9030530B2 (en) | 2009-12-15 | 2015-05-12 | Thomson Licensing | Stereo-image quality and disparity/depth indications |
US8692870B2 (en) | 2010-06-28 | 2014-04-08 | Microsoft Corporation | Adaptive adjustment of depth cues in a stereo telepresence system |
JP5450330B2 (ja) * | 2010-09-16 | 2014-03-26 | 株式会社ジャパンディスプレイ | 画像処理装置および方法、ならびに立体画像表示装置 |
US20120113093A1 (en) | 2010-11-09 | 2012-05-10 | Sharp Laboratories Of America, Inc. | Modification of perceived depth by stereo image synthesis |
WO2012145176A1 (en) * | 2011-04-18 | 2012-10-26 | Dolby Laboratories Licensing Corporation | Method and system for upmixing audio to generate 3d audio |
US9007441B2 (en) | 2011-08-04 | 2015-04-14 | Semiconductor Components Industries, Llc | Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers |
KR101960844B1 (ko) * | 2011-11-01 | 2019-03-22 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
TW201327470A (zh) * | 2011-12-30 | 2013-07-01 | Himax Media Solutions Inc | 調整立體影像之景深的方法以及顯示立體影像的方法與相關裝置 |
WO2014130019A1 (en) * | 2013-02-20 | 2014-08-28 | Intel Corporation | Real-time automatic conversion of 2-dimensional images or video to 3-dimensional stereo images or video |
-
2014
- 2014-06-03 TW TW103119217A patent/TWI566576B/zh active
- 2014-09-17 CN CN201410474168.6A patent/CN105306919A/zh active Pending
- 2014-11-26 US US14/555,555 patent/US9729845B2/en active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101739683A (zh) * | 2009-12-11 | 2010-06-16 | 北京大学 | 基于图分割和多线索融合的单幅图深度估计方法及其系统 |
CN102271266A (zh) * | 2010-06-01 | 2011-12-07 | 英特尔公司 | 2d-3d共存的偏振式3d系统中的2d质量增强器 |
CN102479052A (zh) * | 2010-11-26 | 2012-05-30 | Lg电子株式会社 | 移动终端及其操作控制方法 |
CN102006494A (zh) * | 2010-11-26 | 2011-04-06 | 北京新岸线网络技术有限公司 | 一种3d视频信号调节方法及装置 |
CN102006493A (zh) * | 2010-11-26 | 2011-04-06 | 北京新岸线网络技术有限公司 | 一种3d视频图像的视差调节方法及装置 |
CN103270759A (zh) * | 2010-12-01 | 2013-08-28 | 高通股份有限公司 | 用于基于反馈的三维视频的零视差平面 |
CN102034242A (zh) * | 2010-12-24 | 2011-04-27 | 清华大学 | 消逝点检测的平面图像立体转换深度生成方法和装置 |
CN102761761A (zh) * | 2011-04-28 | 2012-10-31 | 乐金显示有限公司 | 立体图像显示器及其立体图像调整方法 |
CN102223556A (zh) * | 2011-06-13 | 2011-10-19 | 天津大学 | 一种多视点立体图像零视差校正方法 |
CN103636200A (zh) * | 2011-06-20 | 2014-03-12 | 松下电器产业株式会社 | 多视点图像生成装置、多视点图像生成方法 |
US20130009949A1 (en) * | 2011-07-05 | 2013-01-10 | Texas Instruments Incorporated | Method, system and computer program product for re-convergence of a stereoscopic image |
CN103248904A (zh) * | 2012-02-02 | 2013-08-14 | 承景科技股份有限公司 | 调整立体影像景深的方法及显示立体影像的方法及其装置 |
CN103294387A (zh) * | 2012-02-23 | 2013-09-11 | 宏达国际电子股份有限公司 | 立体成像系统及其方法 |
CN103581425A (zh) * | 2012-08-09 | 2014-02-12 | Lg电子株式会社 | 移动终端及其控制方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106251403A (zh) * | 2016-06-12 | 2016-12-21 | 深圳超多维光电子有限公司 | 一种虚拟立体场景实现的方法、装置和系统 |
CN106251403B (zh) * | 2016-06-12 | 2018-02-16 | 深圳超多维光电子有限公司 | 一种虚拟立体场景实现的方法、装置和系统 |
TWI628619B (zh) * | 2017-05-17 | 2018-07-01 | 國立交通大學 | 立體影像產生方法及其裝置 |
CN109246411A (zh) * | 2017-05-17 | 2019-01-18 | 财团法人交大思源基金会 | 立体图像产生方法及其装置 |
CN109246411B (zh) * | 2017-05-17 | 2020-06-09 | 财团法人交大思源基金会 | 立体图像产生方法及其装置 |
CN112822470A (zh) * | 2020-12-31 | 2021-05-18 | 济南景雄影音科技有限公司 | 基于人体图像跟踪的投影互动系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
US9729845B2 (en) | 2017-08-08 |
TWI566576B (zh) | 2017-01-11 |
US20150350632A1 (en) | 2015-12-03 |
TW201547254A (zh) | 2015-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI566576B (zh) | 立體影像合成方法及裝置 | |
US8885922B2 (en) | Image processing apparatus, image processing method, and program | |
TWI523488B (zh) | 處理包含在信號中的視差資訊之方法 | |
TWI528781B (zh) | 用以訂製立體內容之三維效果的方法及裝置 | |
EP2618584A1 (en) | Stereoscopic video creation device and stereoscopic video creation method | |
US20120176366A1 (en) | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene | |
US20130063576A1 (en) | Stereoscopic intensity adjustment device, stereoscopic intensity adjustment method, program, integrated circuit and recording medium | |
JP2012015774A (ja) | 立体視映像処理装置および立体視映像処理方法 | |
JP5546633B2 (ja) | 立体画像再生装置、立体画像再生システム及び立体画像再生方法 | |
WO2012037685A1 (en) | Generating 3d stereoscopic content from monoscopic video content | |
WO2012094075A1 (en) | Scaling pixel depth values of user-controlled virtual object in three-dimensional scene | |
TWI478575B (zh) | 3d影像處理裝置 | |
JP2014501086A (ja) | 立体画像取得システム及び方法 | |
WO2015100490A1 (en) | Reconfiguration of stereoscopic content and distribution for stereoscopic content in a configuration suited for a remote viewing environment | |
KR20170055930A (ko) | 3d 디스플레이 시스템에서 입체 이미지 디스플레이 방법 및 장치 | |
CN102413345B (zh) | 三维视频内容的调适 | |
CN103841403B (zh) | 一种无形变立体图像视差快速调节方法 | |
CN104168469B (zh) | 立体影像预览装置以及立体影像预览方法 | |
US9918067B2 (en) | Modifying fusion offset of current, next, second next sequential frames | |
TW201733351A (zh) | 3d自動對焦顯示方法及其系統 | |
JP5347987B2 (ja) | 映像処理装置 | |
TW201327470A (zh) | 調整立體影像之景深的方法以及顯示立體影像的方法與相關裝置 | |
Tseng et al. | Automatically optimizing stereo camera system based on 3D cinematography principles | |
JP2014053782A (ja) | 立体画像データ処理装置、および、立体画像データ処理方法 | |
KR101345971B1 (ko) | 입체영상촬영장치에서의 주시각 제어장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160203 |
|
RJ01 | Rejection of invention patent application after publication |