[go: up one dir, main page]

CN106507097B - 基于指向型背光的裸眼立体显示直播系统和方法 - Google Patents

基于指向型背光的裸眼立体显示直播系统和方法 Download PDF

Info

Publication number
CN106507097B
CN106507097B CN201611073557.3A CN201611073557A CN106507097B CN 106507097 B CN106507097 B CN 106507097B CN 201611073557 A CN201611073557 A CN 201611073557A CN 106507097 B CN106507097 B CN 106507097B
Authority
CN
China
Prior art keywords
video stream
eye
image
eye video
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611073557.3A
Other languages
English (en)
Other versions
CN106507097A (zh
Inventor
范杭
梁伟棠
刘婷婷
陈朝春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Meader Technology Co Ltd
Original Assignee
Guangzhou Meader Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Meader Technology Co Ltd filed Critical Guangzhou Meader Technology Co Ltd
Priority to CN201611073557.3A priority Critical patent/CN106507097B/zh
Publication of CN106507097A publication Critical patent/CN106507097A/zh
Application granted granted Critical
Publication of CN106507097B publication Critical patent/CN106507097B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H04N13/315Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers the parallax barriers being time-variant

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种基于指向型背光的裸眼立体显示直播系统和方法,该系统包括多个摄像头模块、多路视频流处理单元、图像刷新控制模块和图像显示单元,所述多路视频流处理单元获取多个所述摄像头模块同步摄制的多路视频流,从该多路视频流中选择两路视频流作为左眼视频流和右眼视频流,将所述左眼视频流和右眼视频流交替输入至所述图像刷新控制模块;在右眼对应的发光区域发光时,所述图像显示模块显示所述右眼视频流,在左眼发光区域发光时,所述图像显示模块显示所述左眼视频流。本发明实施例裸眼立体显示直播系统和方法将多个摄像头模组中摄制的左眼视频流和右眼视频流实时传输至图像显示单元,改善了传统立体影像直播显示系统分辨率降低的问题。

Description

基于指向型背光的裸眼立体显示直播系统和方法
技术领域
本发明涉及一种本发明属于裸眼立体视频直播领域,具体公开了一种基于指向型背光的、全高清或者超高清的裸眼立体显示直播系统和方法。
背景技术
裸眼立体显示视频直播,是裸眼3D显示技术与直播的结合。与现有流行的直播平台,立体显示视频直播能够提供深度信息,形成立体视觉。与目前VR直播方案相比,裸眼立体显示视频直播无需借助头盔等辅助式设备。裸眼3D直播对显示设备和图像采集设备的要求都比较高。主流的裸眼立体显示技术主要是基于柱透镜或者视障光栅的裸眼立体显示设备。这些技术方案的分辨率会下降一半以上。一般情况下,视点越多,分辨率下降。裸眼立体显示视频直播对视频采集设备要求也比较高,普通的摄像头无法满足要求,以捕捉超清晰、多角度的画面。如何实时采集高清立体视频,形成可以实时直播数字信号,并在终端形成无分辨率损失的、裸眼的立体视觉效果,是未来直播行业一个重要的发展趋势。
发明内容
本发明的目的在于提供一种基于指向型背光的裸眼立体显示直播系统和方法,旨在解决现有裸眼立体影像直播显示系统分辨率下降的技术问题。
为此,本发明实施例提供了一种基于指向型背光的裸眼立体显示直播系统,包括多个摄像头模块、多路视频流处理单元、图像刷新控制模块和图像显示单元,
所述多路视频流处理单元获取多个所述摄像头模块同步摄制的多路视频流,从该多路视频流中选择两路视频流作为左眼视频流和右眼视频流,将所述左眼视频流和右眼视频流交替输入至所述图像刷新控制模块;
所述图像显示单元包括眼部识别跟踪模块和沿光线传播方向依次设置的指向型背光模组、光学导向单元和图像显示模块,所述指向型背光模组包括多个独立可控、且不在同一个平面内的发光区域,所述发光区域整体朝向所述光学导向单元;
所述图像刷新控制单元使用所述左眼视频流和右眼视频流交替刷新所述图像显示单元,所述指向型背光模组根据所述眼部识别跟踪模块确定的左右眼的位置确定至少一发光区域发光,该发光区域发出的光线经过所述光线导向单元和图像显示模块显示图像帧,其中,在右眼对应的发光区域发光时,所述图像显示模块显示所述右眼视频流的图像帧,在左眼发光区域发光时,所述图像显示模块显示所述左眼视频流的图像帧。
进一步的,所述摄像头模块相互平行设置。
进一步的,还包括一摄像膜层,所述摄像头模组包括设置在所述摄像膜层两侧的第一摄像头模组和第二摄像头模组,所述摄像膜层与所述第一摄像头模组和第二摄像头模组的光轴的夹角为45°,以及,所述第一摄像头模组通过所述摄像膜层的透射光进行摄制,所述第二摄像头模组通过所述摄像膜层的反射光进行摄制。
进一步的,所述摄像膜层为半反射半透光镜片或者光学膜层。
进一步的,所述多路视频流处理单元对所述左眼视频流和右眼视频流进行行对准校正,其中,所述行对准校正是指在同一平面上,该视频流的图像的每一行是一一对齐的。
进一步的,所述多路视频流处理单元输出的左眼视频流和右眼视频流并行且帧同步地输出,或者,所述多路视频流处理单元输出的左眼视频流和右眼视频流以串行的方式交替输出两路视频的图像帧。
进一步的,所述图像刷新控制模块以大于或等于100Hz速度对每一帧图像进行处理,将所述左眼视频流和右眼视频流形成交替输出的图像序列,所述图像显示单元显示该图像序列。
进一步的,还包括一云服务器,所述多路视频流处理单元将所述左眼视频流和右眼视频流输入至所述云服务器,所述云服务器将所述左眼视频流和右眼视频流传输至所述图像刷新控制模块。
本发明实施例还提供了一种基于指向型背光的裸眼立体显示直播方法,应用于直播显示终端,所述直播显示终端包括多个独立可控、且不在同一个平面内的发光区域,所述发光区域整体朝向所述光学导向单元,该显示方法包括以下步骤:
获取多个摄像头同步摄制的左眼视频流和右眼视频流;
根据左眼和或右眼的位置,确定与所述左眼对应的左眼发光区域或右眼对应的右眼发光区域;
对应于所述左眼发光区域发光,使用所述左眼视频流刷新图像进行显示;或者,对应于所述右眼发光区域发光,使用所述右眼视频流刷新图像进行显示。
进一步的,以大于或等于100Hz速度对每一帧图像进行处理,将所述左眼视频流和右眼视频流形成交替输出的图像序列,所述图像显示单元显示该图像序列。
进一步的,获取多个摄像头同步摄制的左眼视频流和右眼视频流包括:通过多路视频流处理单元将多个所述摄像头拍摄的多个同步的视频流输入到多路视频流处理单元;
所述多路视频流处理单元选择性的将所述多路视频流输入到图像刷新控制模块,形成所述左眼视频流和右眼视频流。
本发明的有益效果是:本发明实施例提供的基于指向型背光的裸眼立体显示直播系统和方法将多个摄像头模组中摄制的左眼视频流和右眼视频流实时传输至图像显示单元,配合左右眼对应的发光区域显示左右眼对应的左眼视频流或右眼视频流,改善了传统立体影像直播显示系统分辨率降低的问题,实现了全分辨率的裸眼立体视频显示,保证能够利用全高清(超高清)面板获得全高清(超高清)的立体影像画质。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明,其中:
图1是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统一实施方式的结构示意图;
图2是图1示出的基于指向型背光的裸眼立体显示直播系统中摄像头模组信号采集、视频信号刷新、背光刷新的时序图;
图3是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统另一实施方式的结构示意图;
图4是发明实施例提供的基于指向型背光的裸眼立体显示直播系统一实施方式中图像显示单元的结构示意图;
图5是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统又一实施方式的结构示意图;
图6是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统一实施方式中摄像头模块与摄像膜层的结构示意图;
图7是本发明实施例提供的基于指向型背光的裸眼立体显示直播方法一实施方式的流程图;
图中:
100:摄像头模组;110:第一摄像头模;120:第二摄像头模组;130:摄像膜层;200:多路视频流处理单元;300:图像刷新控制模块;400:图像显示单元;410:指向型背光模组;411:发光区域A;412:发光区域B;420:光学导向单元;430:图像显示模块;440:眼部识别跟踪模块;500:云服务器。
具体实施方式
本发明实施例提供的裸眼立体显示直播系统和方法可以克服现有头盔式虚拟现实技术(VR)和增强现实技术(AR)直播系统的不足,是一种无须佩戴任何头盔或眼镜等辅助设备的沉浸式立体影像直播方案。对比基于柱透镜(Lenticular)或者光栅(Parallelbarrier)技术的立体影像直播方案,本发明是一种基于指向型背光(Directionalbacklight)的裸眼立体显示直播系统。该方案可以保证每只眼睛所能接收到的图像分辨率为全分辨率,并维持在全高清或者超高清的水平。
图1是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统一实施方式的结构示意图。如图1所示,该基于指向型背光的裸眼立体显示直播系统包括多个摄像头模块、多路视频流处理单元200、图像刷新控制模块300和图像显示单元400。
摄像头模组100用于摄制视频流。在本实施例中,所述摄像头模块相互平行设置,近似的前向对准,并且水平对准。其中,多个摄像头模组100同步采集图像信号。对于同一个时刻的运动场景,所述的摄像头模组100将会以图像帧的形式,同步记录下来。在具体实施中,该摄像头模组100可以优选为同步摄像机,但也可以使用固定摄像机观察静态的立体场景。
在一些实施例中,上述的摄像头模组100的规格和尺寸应该是尽量一致的,至少差异不大。各摄像头模组100具备独立的畸变消除能力。例如,可以使用数学方法消除径向和切线方向上的镜头畸变,使得每一个摄像头输出的是无畸变图像。同时,各摄像头模组100具有调整能力,能够对各摄像头模组100之间的相对角度、相对位置、相对距离应该进行调整,使得可以输出行对准的校正图像。
所述多路视频流处理单元200获取多个所述摄像头模块同步摄制的多个视频流,从该多个视频流中选择两路视频流作为左眼视频流和右眼视频流,将所述左眼视频流和右眼视频流交替输入至所述图像刷新控制模块300。所述多路视频流处理单元200输出的左眼视频流和右眼视频流并行且帧同步地输出,或者,所述多路视频流处理单元200输出的左眼视频流和右眼视频流以串行的方式交替输出两路视频的图像帧。
在本实施例中,所述多路视频流处理单元200对所述左眼视频流和右眼视频流进行行对准校正,其中,所述行对准校正是指在同一平面上,该视频流的图像的每一行是一一对齐的。
所述图像刷新控制单元使用所述左眼视频流和右眼视频流交替刷新所述图像显示单元400。所述图像刷新控制模块300以大于或等于100Hz速度对每一帧图像进行处理,将所述左眼视频流和右眼视频流形成交替输出的图像序列,所述图像显示单元400显示该图像序列。
在图2示出的实施方式中,所述图像显示单元400包括眼部识别和跟踪模块440和沿光线传播方向依次设置的指向型背光模组410、光学导向单元420和图像显示模块430,所述指向型背光模组410包括多个独立可控、且不在同一个平面内的发光区域,所述发光区域整体形成朝向所述光学导向单元420的凹面。
在本实施例中,指向型背光模块中若干个独立可控、且不在同一个平面内的、立体排布的发光区域,所述的发光区域在空间中,呈连续或离散状发布。背光模块形成若干凹面,由垂直于图像显示层的平面截得的横截面呈若干条曲线段或者直线段,这些曲线段或者直线段将形成朝向光学导向单元420的凹面,这些发光区域不在同一个平面内,而是形成一个立体空间分布。发光区域的开关状态需要同步高刷新率图像刷新单元的图像刷新频率,以及根据左右眼位置分别判定对应左右眼的光源的发光区域位置。每一个发光区域都有至少有一个独立可控的发光单元,发光单元为发光二极管(LED)、有机发光二极管(OLED)等。高刷新率图像显示模块430的图像刷新信号,应该实时的输出,并和指向型背光模块进行同步,使得指向型背光模块中的发光区域的刷新和闪烁,可以和图像的刷新可以保持同步。对应左眼眼睛的发光区域A411,应该同步于左眼视频流刷新;对应右眼的发光区域B412,应该同步于右眼视频流的刷新。而发光区域的位置,则由眼部识别跟踪模块440所获取的图像数据,进行人眼的识别,并获得观察者眼睛准确的三维空间坐标,从而根据所获得的三维空间坐标来判定应该发光的区域和应该关闭的区域。
其中,上述的光学导向单元420是实现光束定向传输的光学膜层,位于指向型背光模块和图像显示模块430之间。在一些实施例中,光学导向单元420由菲涅尔透镜阵列组成。在另一个实施例中,光学导向单元420由菲涅尔透镜阵列和光束整形膜层组成,光束整形膜层可以提高画面均匀度,并弱化莫尔条纹。所述图像显示模块430为液晶显示面板或者有机发光二极管(OLED)显示面板。
在本实施例中,图像显示模块430中的图像数据由独立的多个摄像头模块提供。而用于人眼识别跟踪模块的摄像头模块则是采用另外一个独立的摄像模块实现。人眼识别跟踪模块由人眼识别摄像模组和软件程序组成,主要是用于识别屏幕前方观看者的位置,获得观察者眼睛的三维空间数据。另外,所述的人眼识别摄像模组也可以是上述的多路摄像头模组100实现。
下面详细描述本发明实施例提供的裸眼立体显示直播系统的工作过程,旨在进一步阐述本发明的精神和实质。
所述指向型背光模组410根据所述眼部识别跟踪模块440确定的左右眼的位置确定至少一发光区域发光,该发光区域发出的光线经过所述光线导向单元和图像显示模块430显示图像帧,其中,在右眼对应的发光区域发光时,所述图像显示模块430显示所述右眼视频流,在左眼发光区域发光时,所述图像显示模块430显示所述左眼视频流。
具体而言,由不同摄像头采集回来的图像序列被将传输进入多路视频处理单元。然后,该多路视频流选择性的输入相邻的两个或以上的视频流进入图像刷新控制模块300。其中两路同步的视频信号,左眼视频流和右眼视频流以交替刷新的方式,在不停的时刻完成刷新。
以左眼视频流先于右眼视频流立体刷新显示为例,进一步描述本发明实施例的工作过程。本领域技术人员可以理解,也可以是右眼视频流先于左眼视频流刷新显示。
图2是图1示出的基于指向型背光的裸眼立体显示直播系统中摄像头模组信号采集、视频信号刷新、背光刷新的时序图。如图2所示,左眼视频流对图像显示单元400的图像显示模块430的第一帧完成刷新,同时让对应的背光信号驱动左眼眼睛相应的发光区域启动,当刷新完成的时候,对应的发光区域关闭。然后,右眼视频流对图像显示单元400的图像显示模块430的的第一帧完成刷新,同时让对应的背光驱动右眼睛对应的发光区域启动,当刷新完成的时候,对应的发光区域关闭。然后左眼视频流对图像显示单元400的图像显示模块430的第二帧完成刷新,同时让对应的背光信号驱动左眼眼睛相应的发光区域启动,当刷新完成的时候,对应的发光区域关闭。然后,右眼视频流对图像显示单元400的图像显示模块430的的第二帧完成刷新,同时让对应的背光驱动右眼睛对应的发光区域启动,当刷新完成的时候,对应的发光区域关闭,以此类推。在具体示例中,也可以先连续刷新显示左眼视频流的多个帧,例如连续刷新显示左眼视频流的第一帧、第二帧和第三帧,本领域技术人员可以设置连续刷新的数量,然后,再对右眼视频流进行刷新显示。
在图像刷新处理模块处理过程中,左眼视频流和右眼视频流的图像帧,将以交替刷新的方式输出,并在高刷新率的图像显示模块430中,以100Hz或者以上的速度进行刷新。刷新的频率优选保持在100Hz以上,以利用人眼的视觉暂留功能获得平滑连续的立体图像视觉效果。
图3是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统另一实施方式的结构示意图。图4是图3实施方式中图像显示单元400的结构示意图。与图2示出的裸眼立体显示直播系统相比,图3示出的裸眼立体显示直播系统的眼部识别跟踪模块440采用多个相机。如图4所示,该眼部识别跟踪模块440置于显示器之中,且拍摄方向朝向显示器前方。多目相机包含多个摄像头模组100(至少包含两个),同时起到“人眼识别和跟踪”和“同步拍摄多路图像”的功能。其中,多个相机所拍摄的多个同步的视频流,将输入到多路视频流处理单元200,并由多路视频流处理单元200选择性的输入到图像刷新控制模块300,从而形成左眼视频流和右眼视频流。
图5是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统又一实施方式的结构示意图。如图5所示,与图1示出的裸眼立体显示直播系统相比,图5示出的裸眼立体显示直播系统还包括一云服务器500,所述多路视频流处理单元200多路视频流中选择两路视频流作为左眼视频流和右眼视频流,然后将所述左眼视频流和右眼视频流输入至所述云服务器500,所述云服务器500将所述左眼视频流和右眼视频流传输至所述图像刷新控制模块300。
在本实施例中,多个摄像头模块,如摄像模块1、摄像模块2等所拍摄的图像序列,优先上传到云服务器500上,再由云服务器500分发给各个图像刷新控制模块300,从而实现多人、远程的基于指向型背光的裸眼立体视频直播方案。
图6是本发明实施例提供的基于指向型背光的裸眼立体显示直播系统一实施方式中摄像头模块与摄像膜层130的结构示意图。如图6所示,该摄像头模组100还包括一摄像膜层130,所述摄像头模组100包括设置在所述摄像膜层130两侧的第一摄像头模110组和第二摄像头模组120,所述摄像膜层130与所述第一摄像头模110组和第二摄像头模组120的光轴的夹角为45°。其中,所述摄像膜层130为半反射半透光镜片,所述第一摄像头模110组通过所述摄像膜层130的透射光进行摄制,所述第二摄像头模组120通过所述摄像膜层130的反射光进行摄制。
具体而言,对于直接并行排列的多个摄像头模组100,受限于摄像头模组100固件固有的宽度,造成用于拍摄的多个摄像头之间的机限太大,从而导致用于直播的立体视频视差太大,立体效果不好,容易导致眩晕。因此,可以重新调整多个摄像头模组100的结构,将奇数序号的摄像头作为第一摄像头模110组,将第一摄像头模110组的光轴调整到一个方向上,将偶数序号的摄像头作为第二摄像头模组120,将第二摄像头模组120的光轴调整到另一个正交的方向上,并两组摄像头模组的前方设置一个半反半透的摄像膜层130。其中,摄像膜层130与第一摄像头模110组和第二摄像头模组120的光轴的夹角均为45度。这使得第一摄像头模110组透过摄像膜层130进行场景的拍摄。而第二摄像头模组120则透过半反半透膜层的反射进行场景的拍摄,从来获得符合立体显示国际标准的裸眼立体显示图像信号。
图7是本发明实施例提供的基于指向型背光的裸眼立体显示直播方法一实施方式的流程图。如图7所示,该裸眼立体显示直播方法应用于直播显示终端,所述直播显示终端包括多个独立可控、且不在同一个平面内的发光区域,所述发光区域整体形成朝向所述光学导向单元420的凹面。该裸眼立体显示直播方法包括步骤S610~S630。
步骤S610:获取多个摄像头同步摄制的左眼视频流和右眼视频流;在本实施例中,可以通过多路视频流处理单元将多个所述摄像头拍摄的多个同步的视频流输入到多路视频流处理单元;所述多路视频流处理单元选择性的将所述多路视频流输入到图像刷新控制模块,形成所述左眼视频流和右眼视频流。
步骤S620:根据左眼和或右眼的位置,确定与所述左眼对应的左眼发光区域或右眼对应的右眼发光区域;
步骤S630:对应于所述左眼发光区域发光,使用所述左眼视频流刷新图像进行显示;或者,对应于所述右眼发光区域发光,使用所述右眼视频流刷新图像进行显示。具体而言,以大于或等于100Hz速度对每一帧图像进行处理,将所述左眼视频流和右眼视频流形成交替输出的图像序列,所述图像显示单元400显示该图像序列。
上述的各实施方式中,将多个摄像头模组100中的两组视频流,实时传输进入指向型背光的裸眼立体图像显示层,并在图像显示层在不同的时刻交替间隔播放,一方面改善了传统立体影像直播显示系统分辨率降低的问题,实现了全分辨率的裸眼立体视频显示,保证能够利用全高清(超高清)面板获得全高清(超高清)的立体影像画质。另一方面,将指向型背光裸眼立体显示器中的单个摄像头替换成多个摄像头模组100,并辅以上述控制方式,将常规的直播,转变为全分辨率的裸眼立体直播。
最后,本发明实施例提供的裸眼立体显示直播系统利用半反半透膜层将多个摄像头调整为正交结构,从而缩小机限,从来获得符合立体显示国际标准的裸眼立体显示图像信号,并且可以实现微距拍摄或者微创手术拍摄,并满足手术等场合对立体显示高分辨率立体图像的要求。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域的普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (9)

1.一种基于指向型背光的裸眼立体显示直播系统,其特征在于,包括多个摄像头模块、多路视频流处理单元、图像刷新控制模块和图像显示单元,
所述多路视频流处理单元获取多个所述摄像头模块同步摄制的多路视频流,从该多路视频流中选择两路视频流作为左眼视频流和右眼视频流,将所述左眼视频流和右眼视频流交替输入至所述图像刷新控制模块;
所述图像显示单元包括眼部识别跟踪模块和沿光线传播方向依次设置的指向型背光模组、光学导向单元和图像显示模块,所述指向型背光模组包括多个独立可控、且不在同一个平面内的发光区域,所述发光区域整体朝向光学导向单元;
所述图像刷新控制模块使用所述左眼视频流和右眼视频流交替刷新所述图像显示单元,所述指向型背光模组根据所述眼部识别跟踪模块确定的左右眼的位置确定至少一发光区域发光,该发光区域发出的光线经过光线导向单元和图像显示模块显示图像帧,其中,在右眼对应的发光区域发光时,所述图像显示模块显示所述右眼视频流的图像帧,在左眼发光区域发光时,所述图像显示模块显示所述左眼视频流的图像帧;
多个摄像头模块还包括一摄像膜层,设置在所述摄像膜层两侧的第一摄像头模组和第二摄像头模组,所述摄像膜层与所述第一摄像头模组和第二摄像头模组的光轴的夹角为45°,以及,所述第一摄像头模组通过所述摄像膜层的透射光进行摄制,所述第二摄像头模组通过所述摄像膜层的反射光进行摄制。
2.如权利要求1所述的裸眼立体显示直播系统,其特征在于,所述摄像头模块相互平行设置。
3.如权利要求1所述的裸眼立体显示直播系统,其特征在于,所述摄像膜层为半反射半透光镜片或者光学膜层。
4.如权利要求1所述的裸眼立体显示直播系统,其特征在于,所述多路视频流处理单元对所述左眼视频流和右眼视频流进行行对准校正,其中,所述行对准校正是指在同一平面上,该视频流的图像的每一行是一一对齐的。
5.如权利要求1所述的裸眼立体显示直播系统,其特征在于,所述多路视频流处理单元输出的左眼视频流和右眼视频流并行且帧同步地输出,或者,所述多路视频流处理单元输出的左眼视频流和右眼视频流以串行的方式交替输出两路视频的图像帧。
6.如权利要求1所述的裸眼立体显示直播系统,其特征在于,所述图像刷新控制模块以大于或等于100Hz速度对每一帧图像进行处理,将所述左眼视频流和右眼视频流形成交替输出的图像序列,所述图像显示单元显示该图像序列。
7.如权利要求1所述的裸眼立体显示直播系统,其特征在于,还包括一云服务器,所述多路视频流处理单元将所述左眼视频流和右眼视频流输入至所述云服务器,所述云服务器将所述左眼视频流和右眼视频流传输至所述图像刷新控制模块。
8.一种基于指向型背光的裸眼立体显示直播方法,应用于直播显示终端,所述直播显示终端包括多个摄像头模块、多路视频流处理单元、图像刷新控制模块和图像显示单元,所述图像显示单元包括眼部识别跟踪模块和沿光线传播方向依次设置的指向型背光模组、光学导向单元和图像显示模块,所述指向型背光模组包括多个独立可控、且不在同一个平面内的发光区域,所述发光区域整体朝向光学导向单元,其特征在于,
该裸眼立体显示直播方法包括以下步骤:
获取多个摄像头同步摄制的左眼视频流和右眼视频流,包括:
通过多路视频流处理单元将多个所述摄像头拍摄的多个同步的视频流输入到多路视频流处理单元;
所述多路视频流处理单元选择性的将所述多路视频流输入到图像刷新控制模块,形成所述左眼视频流和右眼视频流;
多个摄像头模块还包括一摄像膜层,设置在所述摄像膜层两侧的第一摄像头模组和第二摄像头模组,所述摄像膜层与所述第一摄像头模组和第二摄像头模组的光轴的夹角为45°,所述第一摄像头模组通过所述摄像膜层的透射光进行摄制,所述第二摄像头模组通过所述摄像膜层的反射光进行摄制;
根据左眼和/ 或右眼的位置,确定与所述左眼对应的左眼发光区域或右眼对应的右眼发光区域;
对应于所述左眼发光区域发光,使用所述左眼视频流刷新图像进行显示;或者,对应于所述右眼发光区域发光,使用所述右眼视频流刷新图像进行显示。
9.如权利要求8所述的基于指向型背光的裸眼立体显示直播方法,其特征在于,以大于或等于100Hz速度对每一帧图像进行处理,将所述左眼视频流和右眼视频流形成交替输出的图像序列,所述图像显示单元显示该图像序列。
CN201611073557.3A 2016-11-29 2016-11-29 基于指向型背光的裸眼立体显示直播系统和方法 Active CN106507097B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611073557.3A CN106507097B (zh) 2016-11-29 2016-11-29 基于指向型背光的裸眼立体显示直播系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611073557.3A CN106507097B (zh) 2016-11-29 2016-11-29 基于指向型背光的裸眼立体显示直播系统和方法

Publications (2)

Publication Number Publication Date
CN106507097A CN106507097A (zh) 2017-03-15
CN106507097B true CN106507097B (zh) 2018-10-02

Family

ID=58329074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611073557.3A Active CN106507097B (zh) 2016-11-29 2016-11-29 基于指向型背光的裸眼立体显示直播系统和方法

Country Status (1)

Country Link
CN (1) CN106507097B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106954059A (zh) * 2017-03-30 2017-07-14 合肥鑫晟光电科技有限公司 一种3d显示控制方法、装置及3d显示设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101795420B (zh) * 2010-04-07 2012-12-26 昆山龙腾光电有限公司 立体图像显示系统及其控制方法
CN202068512U (zh) * 2010-04-21 2011-12-07 刘家方 可裸眼观看的立体视频直播装置
US10089937B2 (en) * 2010-06-21 2018-10-02 Microsoft Technology Licensing, Llc Spatial and temporal multiplexing display
CN102395039B (zh) * 2011-11-18 2013-09-11 南开大学 一种随动照明的自由立体视频图像显示器
CN103197428B (zh) * 2013-04-16 2016-02-03 佛山市英视通电子科技有限公司 基于弧形背光与透镜的裸眼立体影像显示光学装置
CN104317120A (zh) * 2014-10-27 2015-01-28 中国科学院自动化研究所 一种供多人观看的自由视点真三维显示系统及方法

Also Published As

Publication number Publication date
CN106507097A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN102123291B (zh) 智能型裸眼立体显示系统及其控制方法
US10554960B2 (en) Unassisted stereoscopic display device using directional backlight structure
US7492513B2 (en) Autostereoscopic display and method
CN102520527B (zh) 一种裸眼立体显示系统及其方法
US6788274B2 (en) Apparatus and method for displaying stereoscopic images
CN102801999A (zh) 基于裸眼3d显示技术的合成算法
CN108415173A (zh) 基于背光阵列生成器的指向性背光立体显示装置
CN107203047A (zh) 基于裸眼3d显示的增强现实系统
CN204481874U (zh) 一种三维影像手机
CN1737638A (zh) 渐变斜度微透镜阵列视差宽屏自动立体显示器
Honda et al. Three-dimensional display technologies satisfying" super multiview condition"
CN102376207B (zh) Led立体显示屏及制作方法、显示系统和显示方法
CN202172467U (zh) 具人眼定位的光栅随动装置的显示器
CN106526878B (zh) 多维度自由立体显示装置
CN114815292B (zh) 一种用于多人观看的不闪式指向背光裸眼3d显示装置
CN103605213B (zh) 视区扩展的低串扰自由立体显示装置
CN106507097B (zh) 基于指向型背光的裸眼立体显示直播系统和方法
JPH01107247A (ja) 3次元映像表示装置
JP7304264B2 (ja) 立体画像表示システム
CN105807434B (zh) 一种裸眼3d显示观看区域提醒方法
Braun et al. Evaluating motion and binocular parallax as depth cues for autostereoscopic displays
CN203377985U (zh) 多维led显示屏
CN204925517U (zh) 积分成像记录和再现系统
CN102917176A (zh) 一种三维立体视差字幕的产生方法
CN208834016U (zh) 一种动态桌面三维成像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Fan Hang

Inventor after: Liang Weitang

Inventor after: Liu Tingting

Inventor after: Chen Chaochun

Inventor before: Fan Hang

Inventor before: Liang Weitang

Inventor before: Liu Tingting

Inventor before: Chen Chaochun

GR01 Patent grant
GR01 Patent grant