CN103635952A - 基于时域心理视觉调制的图像/信息显示系统及方法 - Google Patents
基于时域心理视觉调制的图像/信息显示系统及方法 Download PDFInfo
- Publication number
- CN103635952A CN103635952A CN201280027728.2A CN201280027728A CN103635952A CN 103635952 A CN103635952 A CN 103635952A CN 201280027728 A CN201280027728 A CN 201280027728A CN 103635952 A CN103635952 A CN 103635952A
- Authority
- CN
- China
- Prior art keywords
- composition
- modulation
- temporal
- image
- viewing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002123 temporal effect Effects 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 44
- 239000000203 mixture Substances 0.000 claims abstract description 82
- 230000000007 visual effect Effects 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 20
- 239000004744 fabric Substances 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 239000011521 glass Substances 0.000 claims description 6
- 238000005284 basis set Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 4
- 230000004888 barrier function Effects 0.000 claims description 3
- 239000000470 constituent Substances 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 150000001875 compounds Chemical class 0.000 claims 2
- 238000003384 imaging method Methods 0.000 claims 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005693 optoelectronics Effects 0.000 description 1
- 230000035515 penetration Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 208000008918 voyeurism Diseases 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/144—Processing image signals for flicker reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
- G09G2310/0264—Details of driving circuits
- G09G2310/0297—Special arrangements with multiplexing or demultiplexing of display data in the drivers for data electrodes, in a pre-processing circuitry delivering display data to said drivers or in the matrix panel, e.g. multiplexing plural data signals to one D/A converter or demultiplexing the D/A converter output to multiple columns
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/20—Details of the management of multiple sources of image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
一种图像/视频处理和光电显示技术领域的基于时域心理视觉调制的图像/信息显示系统及方法,该系统包括与人眼视觉系统互动的彼此配合的高速显示装置和辅助观看装置;辅助观看装置以控制从高速显示装置的显示面到人眼的光强传递率的方法来实现对构图基序列的时域幅度调制。本发明不仅能够用同一显示装置为多用户显示他们各自所需的不同画面,而且能够解决时分复用方法克服不了的画面亮度不足和可生成的画面数少的问题。
Description
说 明 书
基于时域心理视觉调制的图像 /信息显示系统及方法 技术领域
本发明涉及的是一种图 视频处理和光电显示技术领域的系统及方法,具体是一种利用高 刷新率的显示装置实现的基于时域心理视觉调制(Temporal Psycho- Visual Modulation, TPVM) 的多重图像 /信息并行显示系统及方法。
背景技术
人眼视觉系统无法分辨超过临界闪烁频率 (flicker fusion frequency, 约 60Hz)的光学信号。 而现代的光电显示设备可以工作在 120Hz, 240Hz甚至更高的频率。 例如, 新型的变形反射镜 器件和光栅光阀装置能够达到 88k Hz的高刷新率。 受立体显示技术的驱动, 目前主流的 LCD 或者 PDP显示器也已经能够支持 120Hz或者 240Hz的刷新率。 高速的光电显示装置能够在可 见光谱范围内播出大大超越单个观众能够分辨的信息。 因此, 单个显示装置有可能利用其高刷 新率和人眼的心理视觉冗余, 为多个观众提供各自独立的视觉信号。
挖掘高速显示设备信息的心理视觉冗余的最直接方式是时分复用, 如 Kulik等提出了基于 时分复用和偏振的六画面显示系统, 1S\ A. Kulik, A. Kunert, S. Beck, R. Reiche R. Blach, A. Zink, and B.F Yoehlich 在文献《Clx6: a stereoscopic six-user display for co-located collaboration in shared virtual environments》 (ACM Transation of Graphics, vol. 30, no. 6, 2011.)以及索尼公司的双画面显示技术通过一个显示器为佩戴同步液晶眼镜的两个观众在不同 的时隙轮流提供画面 US2010/0177172A1 , 公开日 2010-07-15, "Stereoscopic screen sharing method and apparatus" (立体屏幕分享系统及方法)、 US2010/0177174,公开日 2010-07-15, "3D shutter glasses with mode switching based on orientation to display device'X指向显示设备的具 有状态切换功能的三维开关眼镜)均记载了通过时分复用技术实现三维现实的方法, 然而, 由 于时分复用技术完全忽略了显示的各图像信号间的相关性,无法有效利用高速显示设备对人眼 的心理视觉冗余。有效的观众数 只能随着显示设备的刷新率而线性增加,而所获得的画面亮 度随 的增加而线性减弱,因此上述方法在两个以上的用户使用时主观画面质量将大幅度下降。 基于时分复用的显示器的另一个致命缺陷是它无法为裸眼观众呈现所需图像。
发明内容
本发明针对现有技术存在的上述不足,提出一种基于时域心理视觉调制的图像 /信息显示系 统及方法,通过时域调制的方式充分利用了高速显示设备的视觉冗余和视频信号内在的统计相 关性。在本发明中, 高速显示设备以某时序播出一系列构图基。不同于时分复用显示方式中每
时刻显示的均为完整图像, 任一个时刻播出的 TPVM的构图基只是多副图像的共有的组成部 分或一副图像的组成部分,所述构图基系列被辅助观看装置进行时域幅度调制后方能形成完整 的图像。 由于对同一系列构图基不同的时域幅度调制可以形成不同的画面, 多个用户可以通过 各自的辅助观看装置对这些构图基做不同调制再通过自己的人眼视觉系统融合成所需图像。 TPVM显示机制不仅能够用同一显示装置显示多画面,而且能够解决时分复用方法所不能克服 的画面亮度不足和能生成的不同画面数少等问题。
本发明涉及一种基于时域心理视觉调制的图像 /信息显示系统,如图 1所示,该系统包括高 速显示装置和与之彼此配合且与人眼视觉系统互动的辅助观看装置。
所述的辅助观看装置通过调节从高速显示装置的显示面到人眼的光强传递率实现对高速 显示装置播出的构图基序列的时域幅度调制。
一个或多个用户使用辅助观看装置对一高速显示装置播出的构图基序列作特定的时域幅 度调制,可以在该显示装置的屏幕上读取与无辅助观看装置的其他人所看到的不同的信息 /图像。
所述的辅助观看装置以像素或像素块为单位,各单位之间独立地实现构图基序列的时域幅 度调制。进一步地, 该辅助观看装置通过对高速显示装置到人眼的光线从全阻隔、半透明到全 通过, 即 0至 1之间任意调节的加权, 实现对构图基序列的幅度调制。更进一步地, 该辅助观 看装置可为光强调节装置, 例如两片分别对应左右眼的主动液晶片, 该光强调节装置通过与高 速显示装置实现有线或无线同步, 获取对应的调制权重作为控制信号, 改变或调节其透光率。
本发明涉及一种全新的基于时域心理视觉调制(TPVM)的图 信息显示方法,通过以某 时序播出构图基序列 Χ Χ .,.,ΧΜ, Μ为一个正整数,这些构图基经过时域调制或直接进人人 眼而合成图像。
所述的合成图像具体是指:不同观众通过不同的时域调制权重向量对同一构图基序列作不 同的时域调制来获取自己需要的图像, 或在不进行时域调制情况下直接获取图像。
所述的构图基序列 x15x2,...,xM —组用于合成 个目标图像, 记为 ^ 2,... , 的 M 个二维构件信号,其中: 目标图像 \<k≤Kt是以调制权重向量 wA =(τ¾, ¾2,... )对 ^^^…^^^操作并继由人眼视觉系统融合而成, 即 (1 = ¾ + ¾ 2 +... + ¾^^1/。 调制权 重向量 w^WnWf需与播出的构图基序列同步地传输到辅助观看装置以形成^:个目标图像。
上述^个目标图像组成一个 Nx 矩阵 Y, 其第 列, ≤k≤K, 为包含 N个像素的图 像 4:所涉及的 M个构图基组成一个 NxM矩阵 X,即矩阵 X的 M个列为 x^x^^x^ 合 成^:个目标图像所需的对 M个构图基的时域调制操作对应一个 Mx 调制权重矩阵 W,以使 得 Y = XW 。 调制权重矩阵 W的列向量w1,w2,...,wJf 用来加权 X^X^^XM以形成
Υι,Υ2,...,Υ^。因为光线能量不能为负值,且调制权重即液晶片的透光率也非负, X和 W为非 负矩阵。 那么, 给定^个目标图像 Υ, 计算如下非负矩阵分解 ( MF):
subject to0< W≤1,0≤X<1
便可得到合成 Y所需的 M个构图基和^:个调制权重向量。上式中的尺度调整系数 1≤ s < M 用来保证每个观众获得足够的亮度。
所述的辅助观看装置与高速显示装置进行有线或无线同步以获取对应的时域幅度调制的 权重作为控制信号来改变显示装置到人眼的光强传递率。
所述的辅助观看装置对左右眼分别实施时域幅度调制。
预处理是减小本发明实施时的计算复杂度, 尤其是在实时应用中, 的有效方法。 给定一集 或一类画面, 生成它们所需的构图基序列及相应的时域调制权重向量可以被提前计算并存储, 以便在需要时实时取出去驱动高速显示装置和辅助观看装置。
本发明之新型信息 /图像显示系统还可以包括耦合于一个或多个用户的辅助观看装置的人 眼定位装置, 这些定位装置与所述高速显示系统通讯并给出各用户眼睛的即时位置, 以便为提 供与各用户的视点和视角相关的画面去计算并调整高速显示装置播出的构图基序列和相应的 时域调制参数。
所有通过上述方式显示出的图像中有一个特别的图像, 称为普通视图, 该普通视图的全部 显示构图基不被调制直接由人眼视觉系统融合所形成的图像,即我们日常不通过任何观看装置 所看到的画面。 普通视图可以被描述为 yQ =x1+x2+... + xM, M是大于或等于 2的正整数, 与之对应地, 构图基经过时域调制后生成的图像称为层视图 (即 l≤k≤K)。
通过适当选择构图基集 X15X2,...,XM和时域上的调制权重向量 W W .^Wf,在为使用辅 助观看装置的一个或多个用户提供各自所需的图像 (层视图)的同时,也给不使用辅助观看 装置的其他用户提供另一个有意义的图像(普通视图) 。=^+ 2 +... + 。
上述能够同时为使用和不使用辅助观看装置的用户提供不同图像内容是 TPVM技术的最 具代表性独特功能。这项功能为本发明开辟了许多目前显示技术无能为力的新的应用。为了实 现上述功能, 所述的时域调制权重向量 W W .^Wf和 M个构图基 x15x2,...,xM以使如下线 性系统:
(yo,yi,---,yi: . (2)
得到充分地满足, 其中 C (M)为一个与 M有关的常数用于调节层视图和普通视图的亮度。
附图说明
图 1为本发明成像原理示意图:
图中: 高速显示装置播出一构图基序列, 该构图基序列经同步液晶眼睛进行时域幅值调制 后进入人眼被大脑感知为目标图像。
图 2为实施例 1中单显示器同时为多用户提供不同画面的显示示意图:
图中: 多个用户可以通过各自的辅助观看装置对同一个构图基序列做不同的时域幅度调制 再通过自己的人眼视觉系统融合成各自所需的图像。
图 3为实施例 1中多用户用各自的空间可变的调制权重的辅助观看装置独立地观察挖掘三 维医学数据的效果图:
图中: 不同用户通过空间变化的调制权重在各自感兴趣的区域并以不同的 3D透视方式对 三维场景观察。
图 4为实施例 3中利用普通视图与层视图的异化视觉体验实现信息保密显示示意图。 图 5为实施例 3中利用普通视图与层视图的异化视觉体验实现同一内容的多语种显示示意 图。
图 6为实施例 3中二维和三维兼容的同屏幕显示示意图。
具体实施方式
下面对本发明的实施例作详细说明, 本实施例在以本发明技术方案为前提下进行实施, 给 出了详细的实施方式和具体的操作过程, 但本发明的保护范围不限于下述的实施例。
实施例 1: 多用户虚拟现实显示
TPVM技术所实现的独特的单设备多画面显示功能为虚拟现实、增强现实等应用添加了一 个全新的社会属性的维度。
如图 2所示, 为一例基于 TPVM原理的单显示器同时为多用户提供不同画面的新型显示 系统,在该实施例中多个用户可以通过各自的辅助观看装置对同一个构图基序列做不同的时域 幅度调制再通过自己的人眼视觉系统融合成各自所需的图像。
在虚拟现实和增强现实的应用中,本发明可以通过传感器获取用户运动 /位置等信息,从而 为多用户实时提供各自特定视角的画面, 同时这些用户又共处于同一个物理空间里, 因此他们
能够无阻隔自然地互相交流、互动。但是, 这种浸入式多用户相互无间的体验是头盔式虚拟现 实显示器做不到的。举例来说, 多个用户可以同时从不同视角共同观看一场球赛, 因此他们之 间关于球是否出界的争论会变得更有趣。
本发明还为虚拟现实和增强现实平台上多用户实现协作、互动式训练和学习提供了技术支 持。例如, 多名医生在虚拟环境中演练一台疑难手术, 医生们用各自佩戴的观看装置都可以得 到对应自己视角的病人的 3D图像, 同时还可以面对面地交流并配合。 如果用头戴式显示设备 的话, 医生们之间因彼此看不到而无法交流与配合。
其他的全新虚拟现实、增强现实的用户体验可以通过在空域里调整能够同步的辅助观看装 置(如液晶镜片)的调制权重来实现, 当辅助观看装置以像素或像素块为单位, 各单位之间独 立地实现构图基序列的时域幅度调制时, 以图 3为例, 则能够实现医学领域中的 3D化多层独 立显示, 具体为: 多层人体解剖图像经配准后以构图基的形式通过高速显示器播出, 如图 3所 示, 第 1个构图基为人体外表, 第 2个构图基为骨架, 第 3个构图基为内脏, 等等。 医生和学 生使用各自的辅助观看装置,其镜片分为中心区域和外围区域(见图 3), 中心区域和外围区域 的调制权重分别为:
wi = (Wn,W/2,..., ^) e [0,l 和 w。 ^w .^J e [0,lf, 通过选择适当的 和 。值, 用户可以获得 3D对象的穿透式观看体验。 例如, 通过选择 = (0,0,1)和 w。 = (1,0,0),用户可以让外部皮肤半透明而看到人体的内部器官并得到其准确 位置。对显示对象更复杂的 Alpha混合半透明视觉效果也可以通过空域里改变同步观看装置时 域调制权重来得到。 TPVM技术还可以对 3D数据有其它的观看方式。 例如, 将 3D数据中的 各个切面 X X^ XM由高速显示设备循环播出, 用户佩戴的观看设备采用以同心圆方式变化 的调制权重, 这样就可实现对 3D数据的漏斗状 "下挖 "式观看。
与基于头戴式显示设备的虚拟现实和增强现实系统相比, 基于 TPVM技术的虚拟现实和 增强现实系统变得更简单, 更轻便, 性价比更高。 这是因为 TPVM把原本在头戴式显示设备 HMD完成的图像渲染所需的海量计算分配到了一个功能强大的中心渲染器 (非负矩阵分解求 解)、一个高速显示设备和观众们自身的人眼视觉系统,而每个用户仅需一个轻便的 LC眼镜或 类似的观看装置。给定一个虚拟环境, 它所对应的构图基集可以提前计算出并存储起来供以后 反复利用,这种支持 TPVM的预处理可大大降低实时虚拟现实和增强现实系统的整体计算量。 同时, 由于用户仅需要实时获得构图基的调制权重, 用户和服务器之间的通信带宽需求很小。 与现有技术的整幅图像在用户端的重绘相比,本发明中的客户端与服务器间的通信量可以被忽 略不计。
实施例 2: 单个高刷新率显示设备实现 2D和 3D画面互不干扰地同时显示
如式 (2)所示,通过适当选择构图基集 ^2,...^ 和时域调制权重向量集 W W^^Wf 本发明可以在同一屏幕上为使用辅助观看装置的一个或多个用户提供各自所需的图像
\<k≤K,的同时,也给不使用辅助观看装置的其他用户提供另一个有意义的图像 (普通视图) y0 =x1 +x2+... + xM„一个实用意义很大的例子是向下兼容的立体显示系统。在这类系统中, 共有 K = 2个层视图 y 和 y ,它们分别对应立体显示的左眼和右眼画面,这里的普通视图 yQ是 同一立体场景的某个 2D画面。 以下所述是一个不失一般性的向下兼容的立体显示系统的实现 方案。
为了能够在同一屏幕上为多用户同时显示 3D和 2D的画面, 上述向下兼容的立体显示系 统联合选择 2个时域调制权重向量 w =(^^,^2,...^)和 =(!^,^2,...^)和 M个构 图基 x15x2,...,xM以充分满足如下线性系统:
(y y (X1? X2-
其中: C( )为一个与 M有关的常数。 给定一幅 3D画面( y yL 和一幅对应的 2D画面 y0, 求解上述线性系统可获得生成这些画面的 M个构图基 χ15χ2,...,χΜ Μ维调制向量 Wi 和 w 。 通过高速显示设备播出的 M个构图基 x15x2,...,xM不作任何时域调制而由人眼视觉系 统直接融合将形成上述的 2D画面 yQ,而同一组构图基 x15x2,...,xM经过辅助观看装置用 M维 调制向量 ^和^调制后, 将在人眼视觉系统中分别融合为 3D画面的左眼图像 ^和右眼图 像
另外, 还有许多较上述解线性系统方法更容易工程实现的算法。 例如上述的 M个构图基 X X^XM可以通过求解如下最小二乘问题来获得: min {||χι -ΥΙ||+|ΙΧΜ/2— y |+ '|«y — χι— χ 2—…― ΧΜ|}
(4) subject to 0 ^χ15χ2,...,χΜ \;\<a≤M
上式中的拉格朗日乘数 /1用来平衡 2D和 3D的画面质量。系数"决定了 2D画面的整体亮 度,通过对其调整,可以用来抑制或消除 2D画面的重构失真。求解所获得的构图基 X15X2,X3,X4 经高速显示设备播出, 通过同步观看装置用权重 ^ =(1,0,0,0)和^ =(0,...,1,...0)调制, 分 别为使用这些同步观看装置的用户提供 3D场景的左眼和右眼的画面。 同时, 不使用辅助观看
装置的用户看到的普通视图 yQ = + x2 + ... + XM则为上述 3D场景的某个 2D画面。
下面是另一个更简单的计算 2D和 3D兼容显示系统的构图基的方法。不失一般性,以 M=4 为例, 可按经验或机器学习直接取: 上式中隐含的调制权重为 = (1,0,0,0)和 ^ = (0,0,1,0), 尺度调整系数 "在此实现方法中 的取值区间是 [1, 4】。在基于 TPVM技术的 2D和 3D兼容显示系统中,作为 2D呈现的默认视 图 yQ可以是左眼图像 y , 也可以是右眼图像 y , 或是其它位于 和 «之间的某个视角对应 的图像。而且默认视图的选择可以随时间改变。其 2D画面 yQ的设计目标是尽量降低重构画面 的失真。 为了避免或降低画面闪烁感, 2D画面 yQ选择方式的转换应在视频场景切换时进行。
以上关于基于 TPVM技术的 2D和 3D兼容显示方法及系统的描述仅为众多可能实施例中 的几个, 这不妨碍本发明相关行业一般从业者理解并对此方案进行相应改变和变通。一切与之 相关的具有相同功能的方法和设备均应在本专利的保护范围之内。
实施例 3 : 高刷新率显示设备实现信息隐藏显示
通过巧妙利用呈现给使用和不使用辅助观看装置的用户的画面的差异, TPVM显示方法与 系统还可为诸多应用实现"眼见不为实"的特殊视觉效果, 具体方式如下:
采用两组构图基, 具体为: 包含保密信息的第一组构图基和包含干扰或伪装信号的第二组 构图基, 当该构图基序列在高速显示装置上播出时, 无授权的辅助观看装置或裸眼用户看不到 保密信息,只有被授权的用户能通过辅助观看装置看到保密信息。例如, 当普通视图 yQ和层视 图 >^被故意设计成画面及语义上不同而又被同一物理空间的人群同时可见, 则普通视图 yQ可 以作为层视图 的伪装, 从而达到信息隐藏显示的目的。 这里普通视图 yQ的作用是误导或屏 蔽无辅助观看装置的旁观者们,而合法用户通过加密同步的辅助观看装置,可以得到层视图 传递的保密信息。这类保密显示方法与系统使得用户能够在公共场合读取保密信息同时又不担 心被偷窥, 如图 4所示。 基于 TPVM技术的保密显示系统的安全性高于隐私贴膜, 因为后者 仅能减小屏幕的可读视角范围, 不能阻止来自于用户背后的偷窥。通过与触摸屏相配合, 本发 明还可以用来设计隐私输入键盘, 用于自动柜员机、 电子支付终端、 密码锁等产品。
上述的基于 TPVM的保密显示方法与系统可有很多的实现方案。 下述仅是一个实施例。 假设一个显示设备能够在不引起不适闪烁的条件下输出 M个构图基, 给定一个保密图像 ^和 一个起掩护作用的普通视图 yQ, 本发明的保密显示方法选择 M个构图基 x15x2,...,xM和相应 调制权重 以充分满足如下线性系统:
其中 C (M )为一个与 M有关的常数。 求解上述系统所获得的 M个构图基 x15 x2, xM通过高 速显示设备播出,无辅助观看装置者看到的是掩护图像 yQ,而使用由调制权重 ^,^2,..., 驱 动的辅助观看装置的合法用户却看到的是保密图像^。
下面是另一个更简单、便于实时实现的信息安全显示系统的实施例。一个 120Hz显示器播 出 M = 2个构图基 x15 x2来构成用于掩护的普通视图 yQ和保密图像 yi。 为了保密图像的可读性, 可设 Xl = Yl,即等价调制权重 w = {w„w2 ) = (1, 0)。 在给定 Xl和 w的条件下,剩余的构图基 x2 应该满足 yQ + x2。 这里一个最简单的方法是让 x2 = 11 - 从而将掩护图像 yQ设计为随机 噪声 n。
在本发明的另一类应用中,普通视图 yQ的功能并不是掩盖保密信息,而是为用户群提供某 些默认显示内容, 同时, 一个或多个层视图 l≤k≤K , 为正整数, 为部分有特殊需求 的观众提供一种或多种特定专属信息。 上述普通视图和一个或多个层视图由同一显示器显示, 但层视图对应的画面需要经过辅助观看装置的时域调制才能形成。举例来说, 在公众前的主持 人、教师、艺人在发言时等常常希望能够在不为听众觉察的情况下获得台词或提示。 TPVM显 示方法与系统可以将台词、提示等辅助信息显示在屏幕上,但仅为使用辅助观看装置的发言者 所见。在此情况下, 普通视图是针对普通观众的演讲材料, 而层视图还包含发言者所需的提示 信息。 同理, 本发明还可以实现在同一显示屏上对内容作多种语言的注释, 例如普通视图可以 显示某一通用语言, 如英语, 而 个层视图 y, l≤k≤K , 可以显示其它 个语种如汉语、 法语、 日语等等, 该系统及其功能参见图 5。
本发明另外可应用于包含多个参与者和观众的电子游戏中,即当采用三组构图基,具体为: 包含生成左眼画面的第一组构图基、 生成右眼画面的第二组构图基以及用于抵消目标 2D画面 中重影的第三组构图基, 当该构图基序列在高速显示装置上播出时, 无辅助观看装置的观众看 到的是无重影的 2D画面, 而用辅助观看装置的用户看到的则是 3D画面。 如图 6所示, 游戏 主机能够为佩戴观看装置的参与者提供主动视角的 3D画面, 同时为众多观众提供同一虚拟场 景的 2D画面。 这一特性对于基于虚拟现实的训练和学习系统尤为重要。 训练的参与者能够在 浸入虚拟环境的同时, 与同伴保持物理上的共同的存在感, 同时, 训练的指挥者可以通过传统 的 2D画面对参与者给出相应指导。
Claims (11)
- 权 利 要 求 书1、 一种基于时域心理视觉调制的图像 /信息显示系统, 其特征在于, 包括高速显示装置和 与之彼此配合且与人眼视觉系统互动的辅助观看装置:所述的辅助观看装置通过调节从高速显示装置的显示面到人眼的光强传递率实现对高速 显示装置播出的构图基序列的时域幅度调制。
- 2、 根据权利要求 1所述的系统, 其特征是, 一个或多个用户使用辅助观看装置对一高速 显示装置播出的构图基序列作特定的时域幅度调制, 以便在从该显示装置读取与无辅助观看装 置的其他人所看到的不同的信息 /图像。
- 3、根据权利要求 1所述的系统,其特征是,所述的辅助观看装置以像素或像素块为单位, 各单位之间独立地实现构图基序列的时域幅度调制。
- 4、 根据权利要求 1或 2或 3所述的系统, 其特征是, 所述的辅助观看装置通过对高速显 示装置到人眼的光线从全阻隔、半透明到全通过, 即 0至 1之间任意调节的加权, 实现对构图 基序列的幅度调制。
- 5、 根据权利要求 1或 2或 3或 4所述的系统, 其特征是, 所述的辅助观看装置为光强调 节装置,该装置与高速显示装置进行有线或无线同步以获取对应的时域幅度调制的权重作为控 制信号来改变显示装置到人眼的光强传递率。
- 6、 根据权利要求 1或 2或 3或 4所述的系统, 其特征是, 所述的辅助观看装置对左右眼 分别实施时域幅度调制。 7、 根据权利要求 1或 2所述的系统, 其特征是, 所述的构图基序列包括三组构图基, 具 体为: 用于生成左眼画面的第一组构图基、用于生成右眼画面的第二组构图基以及用于抵消目 标 2D画面中重影的第三组构图基, 当该构图基序列在高速显示装置上播出时, 无辅助观看装 置的观众看到的是无重影的 2D画面, 而用辅助观看装置的用户看到的则是 3D画面。 8、 根据权利要求 1或 2所述的系统, 其特征是, 所述的构图基序列包括两组构图基, 具 体为: 包含保密信息的第一组构图基和包含干扰或伪装信号的第二组构图基, 当该构图基序列 在高速显示装置上播出时, 无授权的辅助观看装置或裸眼用户看不到保密信息, 只有被授权的 用户能通过辅助观看装置看到保密信息。
- 9、 根据上述任一权利要求所述的系统, 其特征是, 所述的系统还包括耦合于一个或多个 辅助观看装置的人眼定位装置,这些定位装置与所述高速显示系统通讯并给出各用户眼睛的即 时位置,使得本发明之系统能为提供与各用户的视点和视角相关的画面去计算并调整高速显示 装置播出的构图基序列和相应的时域调制参数。
- 10、根据上述任一权利要求所述的系统, 其特征是,一集或一类画面所需的构图基序列及 时域幅度调制的权重通过提前计算并存储供以后多次使用, 以减小本发明各方法及应用的计算 复杂度。11、一种基于时域心理视觉调制的图像 /信息显示方法,其特征在于, 以某时序播出构图基 ff^Jx15x2,...,xM, M为一个正整数,这些构图基经过时域调制后进入人眼由人眼视觉系统合 成成像, 或直接进入人眼由人眼视觉系统合成成像。
- 12、 根据权利要求 11所述的方法, 其特征是, 所述的合成图像具体是指: 不同观众通过 不同的时域调制权重向量对同一构图基序列作不同的时域调制来获取自己需要的图像,或在不 进行时域调制情况下直接获取图像。13、根据权利要求 11所述的方法, 其特征是, 所述的构图基序列 x15x2,...,xM是一组用于 合成^:个目标图像,即^ 2,...^ 的 M个二维构件信号,其中:任一目标图像 y ,l≤ ≤ , 是以时域调制权重向量 wA =(Τ¾, ¾2,...Μ^)对构图基序列 X^X^^XM实施时域调制并继由 人眼视觉系统融合而成, 即 k = wkl x + wk2x2 +... + wmxM。14、 根据权利要求 13所述的方法, 其特征是, 个目标图像组成一个 NX 矩阵 Y, 其 第 列, 1≤ A≤ ,为包含 N个像素的图像 ;所涉及的 M个构图基组成一个 NX M矩阵 X, 即矩阵 X的 M个列为 X X .^XM , 合成 个目标图像所需的对 M个构图基的时域调制操作 对应一个 Mx 调制权重矩阵 W ,以使得 Y = XW,调制权重矩阵 W的列向量w1,w2,…,wJf 用来加权 x15x2,...,xM以形成 Υι,Υ2,...^ , 因为光线能量不能为负值, 且调制权重即液晶片 的透光率也非负, X和 w为非负矩阵,那么,给定^:个目标图像 γ,计算如下非负矩阵分解: min Y-XWlx,w 11subject to0< W≤1,0≤X<1便可得到合成 Y所需的 M个构图基和^:个调制权重向量,尺度调整系数 >U≤ s < M用来保证 每个观众获得足够的亮度。15、根据权利要求 12或 13所述的方法,其特征是,所述的时域调制权重向量 w15w 和 M个构图基 χ15 χ2, ..., xM以使如下线性系统:得到充分地满足, 其中 C(M)为一个与 M有关的常数, 如此产生的构图基集 ^^^…^^^和 时域调制权重向量集 W W^Wf在为使用辅助观看装置的一个或多个用户提供各自所需的 图像 \≤k≤K, 的同时, 也给不使用辅助观看装置的其他用户提供另一个有意义的图像
- 16、 根据权利要求 15所述的方法, 其特征是, 当目标图像的数量为 3个, 即给定一个 3D 场景的左眼画面 ^和右眼画面 y 以及同一 3D场景的某一个 2D画面 y<sub>Q</sub>, 以充分满足如下线 性系统:为目标去选择 2个 M维时域调制权重向量 W =( ^, ^2,... ), =( ¾, ¾2,... )和M个构图基(^,Χ^.,ΧΜ), 其中 C(M)为一个与 M有关的常数, 如此求得的构图基序列 , Χ2 , ... , XM,与相应的时域调制权重向量 W = ( , W )和 = ( ¾ , ¾2 ,… W 相 配合,能够在同一显示器上为戴 3D眼镜的观众呈现一个 3D画面,与此同时也为不用 3D眼镜 的用户呈现一个同一 3D场景的 2D画面。 17、 根据权利要求 16所述的方法, 其特征是, 所述的 M个构图基 x15x2,...,xM¾过求解 如下最小二乘问题来获得: min {||χι -ΥΙ||+||ΧΜ/2— yj+ '|«y — — χ2―…subject to 0 ^χ15χ2,...,χΜ \;\< ≤M其中:拉格朗日乘数 /1用来平衡 2D和 3D的画面质量,系数"决定了 2D画面的整体亮度, 通过对其调整, 可以用来抑制或消除 2D画面的重构失真。18、根据权利要求 16或 17所述的方法,其特征是,在 M个构图基 ^Χ^.,,ΧΜ中分别置^ 个构图基为 a y^, 置 个构图基为 b y mL, mR 为正整数, mL+mR<M, "和 b为正 实数, 并以此对应地选择其余的 Μ-^- 构图基为补偿帧使得普通视图 y0=x1+x2+... + xM成为对应上述三维图像的某个二维画面,即通过补偿帧实现消除二维画面 里的重影。19、 根据权利要求 16或 17所述的方法, 其特征是, 当构图基的个数为 4个, 则构图基具 体为: =y x2 =«y ― y ,x3 =y ,x4 =o ― y , 其对应的调制权重为 w =(1,0,0,0)和 =(0,0,1,0), 尺度调整系数 "在此实现方法中的取值区间是 [1 4】。20、 根据权利要求 15所述的方法, 其特征是, 当目标图像的数量为 2个, 即一个保密图 像 ^和一个起掩护作用的普通视图 yQ, 选择 M个构图基 ^^^…^^^和相应调制权重 wx,w2,...,wM以充分满足如下线性系统:其中 C )为一个与 M有关的常数, 实现通过调制权重 W^W2,--^M进行时域调制得到保密 图像 yi, 而无时域调制得到普通视图 yQ21、 根据权利要求 20所述的方法, 其特征是, 所述的 M个构图基 XI'X2"'"XM中包括两 个分别用于生成保密图像 Yl和普通视图 y<»的构图基 Χι,χ2, 其中: Xi -y!,
- 22、根据权利要求 20或 21所述的方法,其特征是,所述的普通视图 y<sub>Q</sub>采用随机噪声图像 n, 构图基 x<sub>2</sub> =n— <sub>Xl</sub>, 使得保密图像 <sub>Υι</sub>=<sub>Χι</sub>且被随机噪声图像 所掩盖。
Applications Claiming Priority (13)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161457859P | 2011-06-22 | 2011-06-22 | |
USUS61/457859 | 2011-06-22 | ||
US61/457,859 | 2011-06-22 | ||
US201161457944P | 2011-07-14 | 2011-07-14 | |
US61/457,944 | 2011-07-14 | ||
USUS61/457944 | 2011-07-14 | ||
US201161573060P | 2011-08-22 | 2011-08-22 | |
USUS61/573060 | 2011-08-22 | ||
US61/573,060 | 2011-08-22 | ||
USUS61/632564 | 2012-01-18 | ||
US201261632564P | 2012-01-26 | 2012-01-26 | |
US61/632,564 | 2012-01-26 | ||
PCT/CN2012/077353 WO2012175039A1 (zh) | 2011-06-22 | 2012-06-21 | 基于时域心理视觉调制的图像/信息显示系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103635952A true CN103635952A (zh) | 2014-03-12 |
CN103635952B CN103635952B (zh) | 2016-06-15 |
Family
ID=47422034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201280027728.2A Active CN103635952B (zh) | 2011-06-22 | 2012-06-21 | 基于时域心理视觉调制的图像/信息显示系统及方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9578314B2 (zh) |
CN (1) | CN103635952B (zh) |
WO (1) | WO2012175039A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881264A (zh) * | 2015-05-29 | 2015-09-02 | 上海交通大学 | 在心理视觉调制技术中用于实现裸眼视图的方法 |
CN104881699A (zh) * | 2015-05-29 | 2015-09-02 | 上海交通大学 | 基于时域心理视觉调制的二维码内嵌系统及显示方法 |
CN105472366A (zh) * | 2015-12-07 | 2016-04-06 | 京东方科技集团股份有限公司 | 基于心理视觉调制的图像处理方法、装置及显示设备 |
CN107332612A (zh) * | 2017-05-23 | 2017-11-07 | 上海交通大学 | 基于时域心理视觉调制的可见光导盲系统及隐藏方法 |
WO2018166313A1 (zh) * | 2017-03-14 | 2018-09-20 | 京东方科技集团股份有限公司 | 双视显示的方法和装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101872859B1 (ko) * | 2012-01-20 | 2018-06-29 | 엘지전자 주식회사 | 디스플레이 장치 및 그 제어방법 |
US9536351B1 (en) * | 2014-02-03 | 2017-01-03 | Bentley Systems, Incorporated | Third person view augmented reality |
CN104869385B (zh) * | 2015-04-07 | 2017-12-15 | 上海交通大学 | 基于心理视觉调制显示技术的影院多字幕系统 |
CN105516707A (zh) | 2015-12-07 | 2016-04-20 | 京东方科技集团股份有限公司 | 安全显示方法、显示装置以及安全显示系统 |
US11115649B1 (en) | 2020-03-04 | 2021-09-07 | Facebook Technologies, Llc | Systems and methods for synchronizing eyewear devices with displays |
CN114125176B (zh) * | 2021-10-08 | 2024-02-13 | 北卡科技有限公司 | 一种基于心理视觉调制的信息安全显示方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2158495A (en) * | 1994-03-28 | 1995-10-17 | Magma, Inc. | Two-dimensional and three-dimensional imaging device |
CA2185830A1 (en) * | 1995-09-27 | 1997-03-28 | Donald B. Doherty | Determining optimal pulse width modulation patterns for spatial light modulator |
US6232963B1 (en) * | 1997-09-30 | 2001-05-15 | Texas Instruments Incorporated | Modulated-amplitude illumination for spatial light modulator |
JP3923434B2 (ja) * | 2003-01-28 | 2007-05-30 | 株式会社ソフィア | 画像表示装置 |
JP5029610B2 (ja) * | 2006-08-30 | 2012-09-19 | 日本電気株式会社 | 画像処理装置、画像処理方法及びそのプログラム、表示装置並びに画像表示システム |
US8225229B2 (en) * | 2006-11-09 | 2012-07-17 | Sony Mobile Communications Ab | Adjusting display brightness and/or refresh rates based on eye tracking |
US8848044B2 (en) * | 2007-01-26 | 2014-09-30 | Nec Corporation | Image processing apparatus, method, program and display |
US8269822B2 (en) * | 2007-04-03 | 2012-09-18 | Sony Computer Entertainment America, LLC | Display viewing system and methods for optimizing display view based on active tracking |
US20100079585A1 (en) * | 2008-09-29 | 2010-04-01 | Disney Enterprises, Inc. | Interactive theater with audience participation |
JP2011118302A (ja) * | 2009-12-07 | 2011-06-16 | Toshiba Mobile Display Co Ltd | 表示装置、シャッターメガネ、及び、表示システム |
US20110254829A1 (en) * | 2010-04-16 | 2011-10-20 | Sony Ericsson Mobile Communications Ab | Wearable electronic device, viewing system and display device as well as method for operating a wearable electronic device and method for operating a viewing system |
-
2012
- 2012-06-21 US US14/128,509 patent/US9578314B2/en active Active
- 2012-06-21 CN CN201280027728.2A patent/CN103635952B/zh active Active
- 2012-06-21 WO PCT/CN2012/077353 patent/WO2012175039A1/zh active Application Filing
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104881264A (zh) * | 2015-05-29 | 2015-09-02 | 上海交通大学 | 在心理视觉调制技术中用于实现裸眼视图的方法 |
CN104881699A (zh) * | 2015-05-29 | 2015-09-02 | 上海交通大学 | 基于时域心理视觉调制的二维码内嵌系统及显示方法 |
CN104881699B (zh) * | 2015-05-29 | 2018-02-09 | 上海交通大学 | 基于时域心理视觉调制的二维码内嵌系统及显示方法 |
CN105472366A (zh) * | 2015-12-07 | 2016-04-06 | 京东方科技集团股份有限公司 | 基于心理视觉调制的图像处理方法、装置及显示设备 |
CN105472366B (zh) * | 2015-12-07 | 2016-11-02 | 京东方科技集团股份有限公司 | 基于心理视觉调制的图像处理方法、装置及显示设备 |
WO2018166313A1 (zh) * | 2017-03-14 | 2018-09-20 | 京东方科技集团股份有限公司 | 双视显示的方法和装置 |
CN107332612A (zh) * | 2017-05-23 | 2017-11-07 | 上海交通大学 | 基于时域心理视觉调制的可见光导盲系统及隐藏方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103635952B (zh) | 2016-06-15 |
WO2012175039A1 (zh) | 2012-12-27 |
US20140132744A1 (en) | 2014-05-15 |
US9578314B2 (en) | 2017-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103635952B (zh) | 基于时域心理视觉调制的图像/信息显示系统及方法 | |
Wu et al. | Temporal psychovisual modulation: A new paradigm of information display [exploratory dsp] | |
Urey et al. | State of the art in stereoscopic and autostereoscopic displays | |
JP5904620B2 (ja) | 情報表示装置 | |
Wetzstein et al. | Compressive light field displays | |
JP2013009020A (ja) | 画像表示装置および立体画像表示システム | |
US10397559B2 (en) | Display method, display apparatus, and display system | |
Zhai et al. | Multiuser collaborative viewport via temporal psychovisual modulation [applications corner] | |
CN104317120A (zh) | 一种供多人观看的自由视点真三维显示系统及方法 | |
Riecke et al. | Selected technical and perceptual aspects of virtual reality displays | |
JP2008522270A (ja) | 単体三次元レンダリングの複合ビュー表示のためのシステムと方法 | |
KR101721103B1 (ko) | 입체영상표시장치 및 그 구동방법 | |
Wu et al. | Backward compatible stereoscopic displays via temporal psychovisual modulation | |
Kunita et al. | Immersive autostereoscopic display for mutual telexistence: TWISTER I (Telexistence Wide-angle Immersive STEReoscope model I) | |
JP2006195018A (ja) | 3次元表示方法、画像生成側装置、および画像表示側装置 | |
CN102063735A (zh) | 通过改变视点角度制作三维图像源的方法和装置 | |
Aoyama et al. | 48‐5: Eye‐sensing Light Field Display for Spatial Reality Reproduction | |
JP2005175538A (ja) | 立体映像表示装置及び映像表示方法 | |
Pan et al. | 3D displays: their evolution, inherent challenges and future perspectives | |
Fadzli et al. | 3D display for 3D telepresence: a review | |
JP2005175539A (ja) | 立体映像表示装置及び映像表示方法 | |
JP2005012385A (ja) | オブジェクト表示方法およびオブジェクト表示装置 | |
WO2017209829A2 (en) | Hybrid photonic vr/ar systems | |
Lipton | Future of autostereoscopic electronic displays | |
Krum et al. | Social impact of enhanced gaze presentation using head mounted projection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |