CN113383540B - 可互操作的3d图像内容处理 - Google Patents

Abstract

描述了一种提供通过应用程序输出3D图像内容的反向兼容方式的系统和计算机实施的方法。即，所述应用程序可以将所述3D图像内容输出为包括2D图像数据的主要视图和包括3D启用辅助数据的次级视图。该应用程序可以共同地布置两个视图，以使得当将至少两个视图合成为显示信号时用于2D显示器的“传统”2D显示服务器组件省略绘制或过度绘制所述次级视图，而3D显示服务器组件可以访问所述次级视图中的3D启用辅助数据并适当地处理所述2D图像数据和所述3D启用辅助数据。

Description

可互操作的3D图像内容处理

技术领域

本发明涉及一种用于在显示器上显示应用程序的视图的系统，其中所述视图表示用于3D显示器的3D图像内容。本发明还涉及一种用于通过应用程序向窗口管理器提供3D图像内容的计算机实施的方法，以及涉及一种用于通过显示服务器组件确定所述视图表示3D图像内容的计算机实施的方法。

背景技术

显示设备诸如电视机、数字相框、平板电脑和智能电话越来越多地包括3D显示器，以在用户观看这样的设备上的内容时为用户提供深度感知。出于此目的，这样的3D显示器可以独立地或连同用户佩戴的眼镜一起在每只眼中为用户提供不同的图像，以便为用户提供基于立体视觉的深度感知。

要在这种3D显示器上显示的3D图像内容通常可以由2D图像数据和所谓的3D启用辅助数据表示。3D启用辅助数据可以指示2D图像数据的深度。例如，3D启用辅助数据可以是与所述2D图像数据一起表示一对立体图像的另外的2D图像数据，或者是指示所述2D图像数据中示出的对象到摄像机或者观看者的距离的深度相关数据。这种深度相关数据可以包含深度值，而且也可以包含差距值(disparity value)、视差值(parallax value)或其他类型的深度相关值。

3D图像内容可以由在操作系统上运行的应用程序显示。这样的操作系统可以提供用于管理由应用程序生成的视图的可见性的窗口管理器。此外，该操作系统可以提供一个或多个显示服务器组件，每个显示服务器组件都可以专用于一种类型的显示器，并且所述一个或多个显示服务器组件可以被配置成基于从窗口管理器获得的可见性信息，将应用程序的视图合成为用于显示器的显示信号。这些显示服务器组件可以是称为“显示服务器”的单个软件组件的多个组件，但也可以分别表示一个单独的显示服务器。

应注意，窗口管理器和显示服务器可被实施为单独的软件组件，但也可以组合在单个软件组件中或以另一种方式分开在多个软件组件上。一个具体的实施例是Android操作系统提供了一个名为“WindowManager”的窗口管理器和一个名为“SurfaceFlinger”的显示服务器。多种其他类型的窗口管理器和/或显示服务器也是已知的，例如作为其他操作系统的一部分。

由应用程序显示3D图像内容的已知方式的缺点是应用程序在显示服务器组件和显示器方面可能不灵活。即，特定的应用程序可能仅支持一种类型的显示器，例如2D显示器或3D显示器，或者原则上可以支持不同类型的显示器，但可能不知道与系统连接的显示器类型并且可能需要手动配置。

期望这种灵活性，以例如支持在不同类型的显示器之间的动态切换(例如，在运行时间期间)，或者支持涉及不同类型的显示器的多显示器(也称为“多监控器”)设置。这种类型的灵活性也可以称为“互操作性”。特别地，期望提供2D(“传统”)显示器和3D显示器之间的这种互操作性。尽管在许多情况下，传统的2D显示器可以再现可由特定的应用程序生成或输出的3D图像内容，但是这样的3D图像内容随后可能以2D图像的形式再现，这可能是不期望的。例如，如果3D图像内容是作为并排的两个视图提供的立体内容，则2D显示服务器组件可以在2D显示器上并排渲染两个视图。这是不期望的，因为可能更期望在2D显示器上仅渲染两个视图中的一个，而忽略另一个视图。

US 2012/092335 A1描述了一种用于在基于移动Android平台的便携式3D显示装置中使用最少数量的硬件组件的同时通过软件处理立体图像信号的方法和3D显示装置Android。一个或多个平面图像表面从应用程序/中间软件层生成并存储在第一帧缓冲区中。在应用程序/中间软件层下对编码的图像信号进行解码，以恢复表示立体图像对的YUV图像信号。随后，将YUV图像信号转换为RGB图像信号，并在内核层处混合RGB图像信号的左图像和右图像。

发明内容

本发明的一个目的是提供一种通过应用程序显示3D图像内容的方式，该方式在显示服务器组件和显示器的类型方面更加灵活。

根据本发明的第一方面，提供了一种用在显示器上显示应用程序的视图的系统，其中所述视图表示用于3D显示器的3D图像内容。所述系统包括：

-一个存储器，所述存储器包括表示操作系统的系统数据和表示所述应用程序的应用程序数据；

-一个处理器子系统，所述处理器子系统被配置成与所述存储器通信并执行所述操作系统和所述应用程序；

其中，所述操作系统被配置成提供：

-用于管理由应用程序生成的视图的可见性的窗口管理器；

-一个或多个显示服务器组件，所述一个或多个显示服务器组件专用于一种类型的显示器并被配置成基于从所述窗口管理器获得的可见性信息，将所述视图合成为用于显示器的显示信号；

其中，所述应用程序被配置成以至少两个视图的形式向所述窗口管理器提供所述3D图像内容，所述至少两个视图根据视图配置相对于彼此布置，其中所述至少两个视图包含包括2D图像数据的主要视图和包括3D启用辅助数据的次级视图，所述3D启用辅助数据指示所述2D图像数据的深度，并且其中当将所述至少两个视图合成为所述显示信号时，所述视图配置导致用于2D显示器的2D显示服务器组件省略绘制或过度绘制所述次级视图。

根据本发明的另一方面，提供了一种包括所述系统的显示设备。

根据本发明的另一方面，提供了一种用于向操作系统的窗口管理器提供应用程序的视图的计算机实施的方法，其中所述视图表示用于3D显示器的3D图像内容，其中所述操作系统被配置成提供：

所述窗口管理器，其中所述窗口管理器被配置成管理由应用程序生成的视图的可见性；

一个或多个显示服务器组件，所述一个或多个显示服务器组件专用于一种类型的显示器并被配置成基于从所述窗口管理器获得的可见性信息，将所述视图合成为用于显示器的显示信号；

所述方法包括：通过所述应用程序以至少两个视图的形式向所述窗口管理器提供所述3D图像内容，所述至少两个视图根据视图配置相对于彼此布置，其中所述至少两个视图包含包括2D图像数据的主要视图和包括3D启用辅助数据的次级视图，所述3D启用辅助数据指示所述2D图像数据的深度，其中当将所述至少两个视图合成为所述显示信号时，所述视图配置导致用于2D显示器的2D显示服务器组件省略绘制或过度绘制所述次级视图。

根据本发明的另一方面，提供了一种用于合成在操作系统上执行的应用程序的视图的计算机实施的方法，其中所述视图表示用于3D显示器的3D图像内容，其中所述操作系统被配置成提供：

用于管理由应用程序生成的视图的可见性的窗口管理器；

用于3D显示器的3D显示服务器组件，所述3D显示服务器组件被配置成基于从所述窗口管理器获得的可见性信息，将所述视图合成为用于所述3D显示器的显示信号；

其中所述应用程序被配置成以至少两个视图的形式向所述窗口管理器提供所述3D图像内容，所述至少两个视图根据视图配置相对于彼此布置，其中所述至少两个视图包含包括2D图像数据的主要视图和包括3D启用辅助数据的次级视图，所述3D启用辅助数据指示所述2D图像数据的深度，并且其中当将所述至少两个视图合成为所述显示信号时，所述视图配置导致用于2D显示器的2D显示服务器组件省略绘制或过度绘制所述次级视图；

所述方法包括通过所述3D显示服务器组件：

-基于从所述应用程序接收的信令或所述应用程序的元数据确定所述至少两个视图表示3D图像内容；以及

-对所述主要视图和所述次级视图进行处理，以获得用于所述3D显示器的显示信号。

本发明的另一方面提供了一种暂时性或非暂时性计算机可读介质，包括表示应用程序或3D显示服务器组件的计算机程序，该计算机程序包括用于使处理器系统执行表示相应实体的方法的指令。

上述措施涉及以至少两个视图(即，包括2D图像数据的主要视图和包括指示所述2D图像数据的深度的3D启用辅助数据的次级视图)的形式向窗口管理器提供3D图像内容的应用程序。在这里和其他地方，术语“视图”可以指图形用户界面的基本构建块，也可以称为“视图对象”。通常，一个视图表示屏幕上可以显示应用程序的内容的一个矩形区域。例如，在Android中，这样的视图可能由公共类“视图(View)”表示，而在iOS中，这样的视图可以由“视图对象(View Object)”等表示。需要注意的是，在许多操作系统中，应用程序的“窗口”可能包含一个或多个视图，因此，视图可能不需要由单独的窗口表示。

因此，主要视图可以示出图像，诸如照片(静止图像)、视频帧、由计算机渲染生成的图像等，而3D启用辅助数据可以指示所述图像的深度。通过2D图像数据和3D启用辅助数据表示3D图像内容的概念本身是已知的。这种辅助数据可以采用多种形式，包括但不限于与所述2D图像数据一起表示一对立体图像的另外的2D图像数据，或者指示所述2D图像数据中示出的对象到摄像机或观看者的距离的深度相关数据。

因此，所述应用程序可以为所述2D图像数据创建一个单独的视图，并且为所述3D启用辅助数据创建一个单独的视图。这些视图根据视图配置例如在空间意义上相对于彼此相互布置。这种视图配置可以由应用程序限定和/或提供，并且可以由一个或多个参数表示，所述一个或多个参数至少限定两个视图的相对位置，例如，在应用程序的窗口内的相对位置。例如，所述视图配置可能是预先确定的视图配置。例如，在Android中，所述参数可以是公共类“相对布局(RelativeLayout)”的参数，根据所述公共类“相对布局”的参数可以相对于彼此描述视图的位置。这样配置的相对位置随后可以由应用程序使用具有特定的相对布局的内容视图作为变元(argument)的函数Set.ContentView来提供。

应理解，取决于操作系统和/或窗口管理器的类型，多种其他机制存在并且可以有利地被用来限定和/或提供用于所述主要视图和所述次级视图的视图配置。

根据上述措施，所述应用程序具体地限定和/或提供所述视图配置，使得在将所述至少两个视图合成为所述显示信号时，用于2D显示器的2D显示服务器组件(例如“传统”显示服务器组件)省略绘制或过度绘制所述次级视图。因此，所述2D显示服务器组件将省略显示所述3D启用辅助数据，而是(仅)显示所述2D图像数据。在此处和下文中，术语“显示信号”可以指由显示服务器组件以显示专用的方式格式化的信号，该信号在本质上本身可能是已知的。例如，显示信号可以生成为输出缓冲区中的输出图像，该输出图像以显示专用的方式格式化。

一个非限制性实施例是所述应用程序可以被配置成将所述主要视图堆叠在所述次级视图的前面，以提供所述主要视图遮挡所述次级视图的视图配置作为所述视图配置。这种视图的堆叠实际上可以是公共类“相对布局”的默认行为，其中所述应用程序只需确保所述主要视图堆叠在所述次级视图的前面，而不是反过来。例如，这可以通过所述应用程序将相对Z顺序指定到两个视图来完成，这具体地导致所述主要视图堆叠在所述次级视图的前面。再次参考公共类“相对布局”的实施例，这可以涉及所述应用程序或程序员选择视图的适当枚举顺序或使用函数view.setZ(float)等。

2D显示服务器组件(如果在操作系统中存在并且激活的话)随后可以过度绘制所述次级视图，或者当所述组件确定所述次级视图被所述主要视图遮挡时可以省略绘制所述次级视图。

同时，3D显示服务器组件(如果在操作系统中存在并且激活的话)可以例如基于从所述应用程序接收的信令或所述应用程序的元数据来确定所述至少两个视图表示3D图像内容。在识别出所述主要视图和所述次级视图表示3D图像内容之后，所述3D显示服务器组件随后可以以本身已知的方式处理所述主要视图和次级视图，以获得用于所述3D显示器的显示信号。因此，3D显示服务器组件可以不过度绘制所述次级视图，而是例如可以在显示信号中并排放置所述次级视图以及所述主要视图。

上述措施提供了一种通过应用程序输出3D图像内容的反向兼容方式。即，“传统”2D显示服务器组件可以示出所述主要视图，而3D显示服务器组件可以访问所述次级视图中的3D启用辅助数据，并适当地处理所述2D图像数据和所述3D启用辅助数据。

这不仅可以提供对2D显示服务器组件的反向兼容性，还可以提供对没有被配置成确定由应用程序提供的至少两个视图表示3D图像内容的其他(“传统”)类型的显示服务器组件的反向兼容性。这样的传统显示服务器组件可以包括前面提及的2D显示服务器组件，但也可以包括传统3D显示服务器组件和流媒体服务器或投射服务器(诸如Miracast)。另一个优点是所述应用程序可以不必检测哪种类型的显示服务器组件存在和激活，并相应地调整其输出。后者在不同类型的显示服务器组件存在并激活的多显示器环境中甚至是不可能的。

注意，在上文和下文中，对被配置成“建立”或“提供”窗口管理器和/或一个或多个显示服务器组件的操作系统的任何引用可以指代被配置成允许由操作系统或使用操作系统执行所述软件组件的操作系统。在一些实施方案中，所述操作系统可以包括窗口管理器和/或显示服务器。在其他实施方案中，窗口管理器和/或显示服务器可以是与所述操作系统分开提供的软件组件。

所述应用程序可以被配置成将所述主要视图堆叠在所述次级视图的前面，以提供所述主要视图遮挡所述次级视图的视图配置作为所述视图配置。例如，所述应用程序可以被配置成将相对Z顺序指定到所述主要视图和所述次级视图，这使得所述主要视图堆叠在所述次级视图的前面。

可选地，所述应用程序被配置成提供堆叠在所述主要视图和所述次级视图之间的屏障视图，其中所述屏障视图是不透明的并且包括同质图像数据。可能的情况是，所述主要视图被限定为(部分)半透明，或者所述主要视图可以被显示服务器组件视为(部分)半透明。例如，主要视图的2D图像数据可以包含本身已知的RGBA元组，以提供局部透明性。因此，虽然2D显示服务器组件可能仍然用所述主要视图过度绘制所述次级视图，但所述主要视图的(部分)半透明性可以导致所述次级视图仍然(部分)可见，这会干扰所述2D图像数据在所述主要视图中的显示。为了避免或减少这种干扰，可以提供堆叠在所述主要视图和所述次级视图之间的屏障视图，例如通过选择在所述主要视图的Z顺序和所述次级视图的Z顺序之间的Z顺序。所述屏障视图由所述应用程序生成为不透明的，例如，非半透明的，以便在通过2D显示服务器组件的视图合成期间导致所述次级视图被所述屏障视图遮挡。所述屏障视图还被生成为包括同质图像数据，以减少对重叠主要视图中的2D图像数据的任何干扰。例如，所述屏障视图可以是均匀的黑色、深灰色或浅灰色。

所述应用程序可以被配置成：

-通过指示一个视口来向所述窗口管理器提供所述主要视图，所述视口包括所述主要视图的2D图像数据；并且

-通过将所述次级视图的3D启用辅助数据布置在所述视口的外部来向所述窗口管理器提供所述次级视图。

在所述次级视图的前面堆叠所述主要视图存在多种替代方案。例如，可以通过向所述窗口管理器指示一个视口来向所述窗口管理器提供所述主要视图，所述视口包括所述主要视图的2D图像数据，例如，在缓冲区中。所述3D启用辅助数据可以布置在所述视口的外部，例如，在所述视口外部的相同缓冲区中，或在不同的缓冲区中。因此，“传统”显示服务器组件会绘制如所述视口中所示出的主要视图，而且会省略绘制所述次级视图，因为它位于所述视口的外部。

可选地，所述一个或多个显示服务器组件包括用于3D显示器的3D显示服务器组件，并且所述应用程序被配置成发信号通知所述3D显示服务器组件所述至少两个视图表示3D图像内容。如果用于3D显示器的3D显示服务器组件所述操作系统中存在并且激活，则所述应用程序可以发信号通知所述3D显示服务器组件这两个视图表示3D图像内容。例如，所述3D显示服务器组件可以提供应用程序编程接口(API)，以允许应用程序与所述3D显示服务器组件连接，并且所述应用程序可以被配置成经由API发信号通知所述3D显示服务器组件所述至少两个视图表示3D图像内容，例如通过经由API向所述3D显示服务器组件注册所述至少两个视图的标识符。附加地或替代地，所述3D显示服务器组件可以被配置成基于所述应用程序的元数据(诸如，所述应用程序的标识符)检测所述至少两个视图表示3D图像内容。如此，所述3D显示服务器组件可以获知所述至少两个视图表示3D图像内容并相应地处理这两个视图中的图像(数据)。

可选地，所述3D显示服务器组件被配置成通过以下方式合成所述至少两个视图：1)根据立体显示格式将所述主要视图和次级视图布置成同时示出在所述显示信号中，或2)基于所述主要视图和次级视图生成一个或多个另外的视图，并且根据多视图显示格式将所述主要视图和所述一个或多个另外的视图同时布置在所述显示信号中。上述选项限定了对于3D显示服务器组件而言本身已知的处理所述主要视图和所述次级视图以获得用于所述3D显示器的显示信号的方式。第一选项可适用于立体内容(例如，2D图像数据表示左图像，3D启用辅助数据表示右图像)，其中所述视图合成可能涉及根据上下立体格式同时示出两个视图，例如并排示出或(例如，在一行基准上)在空间上交错示出。第二选项可适用于所谓的多视图内容，其中所述3D启用辅助数据表示深度相关的内容(诸如深度图)，并且其中使用所谓的视图渲染或视图拟合技术来渲染除了所述主要视图中示出的视图之外的表示场景的替代视点的一个或多个另外的视图。注意，不同类型的3D显示格式之间的转换是已知的。因此，无论3D启用辅助内容的类型如何，都可以处理所述视图以获得期望的显示格式。例如，如果所述应用程序输出立体内容，则3D显示服务器组件可以估计两个图像之间的视差，并使用视差图渲染用于多视图显示器的一个或多个另外的视图。相反，如果所述应用程序提供深度图作为3D启用辅助内容，则显示服务器组件可以查看渲染第二图像以提供立体内容作为输出。

本领域技术人员将理解，本发明的上文提及的实施方案、实施方式和/或可选方面中的两个或更多个可以以任何被认为有用的方式组合。

基于本描述，本领域技术人员可以实现任何计算机实施的方法和/或任何计算机程序产品的改型和变体，所述改型和变体对应于对应的系统的所描述的改型和变体，并且反之亦然。

附图说明

参考下文描述的实施方案可明了并且将阐明本发明的这些和其他方面。在附图中：

图1示出了应用程序、窗口管理器和多个显示服务器组件之间交互的示意性概览，其中所述应用程序以包括2D图像数据的主要视图和包括3D启用辅助数据的次级视图的形式向窗口管理器提供3D图像内容，并且每个显示服务器组件都被配置成基于从窗口管理器获得的可见性信息将应用程序的视图合成为用于在相应类型的显示器上显示的显示信号；

图2A例示了应用程序将主要视图堆叠在次级视图的前面，以导致当将所述视图合成为显示信号时，用于2D显示器的2D显示服务器组件省略绘制或过度绘制次级视图的结果；

图2B示出了应用程序向窗口管理器指示一个视口，该视口包括主要视图的2D图像数据，而次级视图的3D启用辅助数据位于视口的外部；

图3示出了用于Android操作系统的一个具体实施方案；

图4示出了用于在显示器上显示应用程序的视图的系统；以及

图5示出了包括指令数据的计算机可读介质。

应注意，在不同的图中具有相同参考数字的项具有相同的结构特征和相同的功能，或是相同的信号。在已经解释这样的项的功能和/或结构的情况下，没有必要在详细描述中对其进行重复解释。

附图标记列表

以下附图标记列表被提供以便于解释附图，且不应被解释为限制权利要求。

080 (3D)显示器

100 显示应用程序的视图的系统

120 处理器子系统

122 数据通信

140 存储器

142 数据通信

160 大容量储存器

162 数据通信

180 显示输出

182 显示数据

200 应用程序

210 缓冲区

212 缓冲区

214 缓冲区

220 窗口管理器

240 显示服务器

252 2D显示服务器组件

254 3D(多视图)显示服务器组件

256 3D(立体)显示服务器组件

260 Android BSP

262 Android窗口管理器

264 Android SurfaceFlinger

280 服务进程

282 扩展(钩)

284 服务API

300 2D图像数据

310 3D启用辅助数据

400 主要视图、2D视图

410 次级视图、3D启用辅助视图

420 Z-顺序

430 视口

440 用于2D显示器的显示信号

442 用于3D(多视图)显示器的显示信号

444 用于3D(立体)显示器的显示信号

500 计算机可读介质

510 指令数据

具体实施方式

图1示出了操作系统的或在操作系统上运行的软件组件的示意性概览，即应用程序200、窗口管理器220和显示服务器240，作为示例，显示服务器240包括用于2D显示器的2D显示服务器组件252(在图1中标记为“2D合成”)、用于多视图3D显示器的3D显示服务器组件254(标记为“2D+3D辅助合成”)以及用于立体3D显示器的另一个3D显示服务器组件256(标记为“2D+3D辅助合成+立体输出”)。这些显示服务器组件252-256中的每一个的视图合成将进一步参考图2并且继续参考图1进行解释。

如图1中可以看出，应用程序200可以接收或检索2D图像数据300和伴随的3D启用辅助数据310，例如从诸如固态驱动器或硬盘的大容量储存器设备(图1中未示出)或以来自局域网或广域网的流媒体方式(也未在图1中示出)。在一个具体实施例中，2D图像数据300和3D启用辅助数据310可以一起表示3D图像或3D视频(诸如，电影或短视频片段)的3D视频帧。在又一实施例中，应用程序可以例如通过提供多个立体图像或一个图像和伴随的深度图作为输出的计算机渲染技术来生成2D图像数据300和3D启用辅助数据310。在又一个实施例中，应用程序200可以接收或检索2D图像数据300并生成3D启用辅助数据，例如使用在本领域中本身已知的深度估计技术。

应用程序200然后可以生成包括2D图像数据300的2D视图400。2D视图400也称为“主要视图”。这里，术语“包括”是指正常示出2D图像数据300的2D视图400，尽管受到2D视图400的可见性限制，所述可见性限制可能例如由窗口管理器220强制实行。应用程序200还可以生成包括3D启用辅助数据的3D启用辅助视图410。3D启用辅助视图410也称为“次级视图”。两个视图400、410的数据可以例如被存储在各自的缓冲区210、212中，例如作为缓冲区对象，或者作为单独的缓冲区对象(图1中未示出)存储在相同的缓冲区中。应用程序200可以向窗口管理器220提供视图400、410二者，例如通过使用Android.view.WindowManager类的addView()。窗口管理器可以总体上管理应用程序的视图的可见性。例如，如果存在其他激活的应用程序，窗口管理器可以确定视图400、410是否主要可见，或者它们是否主要不可见，例如，通过被另一个应用程序的视图遮挡或通过使包括视图400、410的应用程序的窗口“最小化”。

主要视图400和次级视图410根据视图配置由应用程序相互布置，该视图配置使得当将至少两个视图合成为显示信号时，用于2D显示器的2D显示服务器组件省略绘制或过度绘制次级视图。有多种方法来限定或提供这样的视图配置，例如，如参照图2A和2B所阐明的。

图2A例示了应用程序将主要视图400堆叠在次级视图410的前面，从而遮挡次级视图410的结果。应注意，出于例示目的，图2A示出了倾斜透视图以示出主要视图400下方的次级视图410。然而，显示服务器组件认为主要视图400完全或至少基本上完全遮挡了次级视图410。例如，次级视图410可以由应用程序指定Z顺序，该应用程序将其置于主要视图400的后面。同时，可以选择次级视图410的位置和大小，使得它(基本上)完全被主要视图400遮挡。例如，视图400、410都可以被指定相同的位置和大小，例如在应用程序的窗口中(图2A中未明确示出)。堆叠的视图400、410然后可以导致当将视图合成为显示信号时，“传统”显示服务器组件(例如，不能确定堆叠的视图400、410表示3D图像内容的显示服务器组件)用主要视图400过度绘制次级视图410，从而遮挡次级视图410。

这个概念也可以称为“显式过度绘制”，其中输出图像被多次更新。在主要视图400是(半)透明的情况下，可以将黑色或其他不透明且同质的屏障视图插入在主要视图400和次级视图410之间。在此，“插入在…之间”是指具有Z顺序的屏障视图将其放置在主要视图400的后面，但在次级视图410的前面，其中屏障视图优选地具有与主要视图400和/或次级视图410相同的位置和大小。替代地，如果显示服务器组件能够确定次级视图410被遮挡，则显示服务器组件也可以完全省略绘制次级视图410。

需要注意的是，为了引起“传统”显示服务器组件的过度绘制，由应用程序生成的视图400、410可以是一种只能由操作系统组成的类型，以便绕过应用程序合成优化。例如，在Android中，这可以通过是“SurfaceView”类型的视图的视图400、410来实现。

继续参考图1和图2A，3D显示服务器组件254、256可以被配置成确定图2A的堆叠的视图400、410表示3D图像内容。如稍后参照图3所阐明的，这例如可以基于从应用程序200接收的信令或应用程序200的元数据来确定。因此，3D显示服务器组件254、256可以处理主要视图400和次级视图410，以获得用于3D显示器的显示信号。处理和合成的多种方式本身在3D处理和3D显示领域中是已知的。

图1示出了两个非限制性实施例。根据第一实施例，3D显示服务器组件254可以被配置成通过以下方式生成用于多视图显示器的显示信号442：使用视图渲染或视图拟合技术从2D图像数据并且使用3D启用辅助数据来生成由2D图像数据示出的场景的其他视点，即呈例如在图1中标记为“X”、“Y”和“Z”的其他2D图像的形式。这种视点通常也被称为“视图”(因此名称为“视图渲染”和“视图拟合”)，但不要与应用程序视图400、410混淆。视图渲染或视图拟合的类型可以取决于3D启用辅助数据310的类型，但通常使用指示2D图像数据中示出的对象到摄像机或观看者的距离的深度相关数据。如果3D启用辅助数据310准确地说表示与2D图像数据一起表示一对立体图像的另外的2D图像数据，则可以首先从这对立体图像生成这种深度相关数据，例如，使用本身已知的视差估计技术。

3D显示服务器组件254然后可以创建主要视图400的2D图像数据(在图1中标记为“2D”)和其他视图(视点)(在此实施例中为三个另外的视图(视点)X、Y和Z)的2D图像数据的马赛克状合成。然后，可以将显示信号442作为输出图像信号提供给3D多视图显示器，该3D多视图显示器然后可以使用不同视图(视点)的图像数据以3D渲染场景。

应注意，还可以使用多种其他已知类型的多视图合成来代替空间马赛克状合成。例如，视图可以在空间和/或时间上交错。除了所述视点之外或代替所述视点，还可以在显示信号中提供其他数据。例如，可以在显示信号和/或透明性信息和/或遮挡信息中提供3D启用辅助数据本身。另一个实施例是显示信号可以包括从至少两个视图生成的点云或3D网格等。应注意，通常，显示信号可以通过单个但也可以通过多个独立的数据通道和/或电缆(例如，经由双显示端口(DisplayPort))提供给显示器。

根据第二实施例，3D显示服务器组件256可以被配置成生成用于立体显示器的显示信号444。根据3D启用辅助数据310的类型，该视图合成可以采用不同的形式。例如，3D启用辅助数据310表示与所述2D图像数据一起表示一对立体图像的另外的2D图像数据。在这种情况下，如果2D图像数据300表示左图像并且另外的2D图像数据310表示右图像，则3D显示服务器组件256可以将它们合成为并排格式化的显示信号444。应注意，也可以替代地使用多种其他已知类型的空间和/或时间立体视图合成。然而，如果3D启用辅助数据310表示指示2D图像数据中示出的对象到摄像机或观看者的距离的深度相关数据，则可以使用前面提及的视图渲染或视图拟合技术生成另外的2D图像数据(例如，右图像)。

图2B示出了根据视图配置相互布置主要视图400和次级视图410的应用程序的另一实施例，该视图配置使得当将至少两个视图合成为显示信号时，用于2D显示器的2D显示服务器组件省略绘制或过度绘制次级视图。即，在该实施例中，应用程序向窗口管理器指示视口430，该视口包括主要视图400的2D图像数据。例如，视口430可以相对于缓冲区214(通常可以是“缓冲区对象”，指的是缓冲区是逻辑缓冲区而不是具体的物理缓冲区)来限定。还如图2B中所示，次级视图410的3D启用辅助数据然后可以位于缓冲区214中的视口430的外部，导致“传统”显示服务器组件省略绘制次级视图410。替代地，次级视图410的3D启用辅助数据可以以不同的方式位于视口430的外部，例如，在不同的缓冲区中。

图3示出了Android操作系统的一个具体实施方案。再次地，应用程序200被示出为检索或接收2D图像数据300和3D启用辅助数据310，并提供包括2D图像数据的主要视图400和包括3D启用辅助数据的次级视图410。尽管图3示出了主要视图400被堆叠在次级视图410的顶部，两个视图也可以相互不同地布置以使得“传统”显示服务器组件过度绘制或省略绘制次级视图410。这也适用于图1中所示的视图。

在图3的实施例中，应用程序200可以提供作为全屏的次级视图410并且将主要视图400布置在次级视图410的顶部。

图3进一步示出了窗口管理器262和SurfaceFlinger 264，它们可以是Android板级支持包(BSP)260的一部分。SurfaceFlinger 264可以通过处理应用程序视图并执行或至少启用用于3D显示器的视图合成来体现3D显示服务器组件的至少一部分。

有多种方式使3D显示服务器组件264能够确定应用程序200的堆叠的视图400、410表示3D图像内容。在图3的实施例中，应用程序200可以经由服务API 284向服务进程280注册用于表示3D图像内容的堆叠的视图400、410，其中服务进程280能够经由扩展(“钩”)282与3D显示服务器组件264通信。因此，3D显示服务器组件可以被告知应用程序的堆叠的视图400、410表示3D图像内容，并且可以相应地处理这些视图。可以有目的地提供服务进程280以使得3D显示服务器组件能够确定应用程序的视图表示3D图像内容。

尽管参考Android进行了描述，但是特定操作系统的应用程序开发领域的技术人员可以将上述措施应用于多种其他类型的操作系统。例如，对于基于*nix的操作系统(Linux、BSD、Unix等)，存在各种各样的窗口管理器(参见https://wiki.archlinux.org/index.php/windowmanager)以及多种可定制的显示服务器(例如，X11、基于Wayland、Mir、DirectFb)。对于MacOS或iOS(Quartz)，Quartz窗口服务可以提供如所描述的窗口服务器的至少部分功能，Quartz显示服务/Quartz合成服务/XQuartz可以被配置成提供如所描述的显示服务器组件的显示服务器的至少部分功能。对于Microsoft Windows，桌面窗口管理器可以提供如所描述的窗口服务器的至少部分功能，并且GDI图形设备接口可以被配置成提供如所描述的显示服务器或显示服务器组件的至少部分功能。

图4示出了用于在显示器080上显示应用程序的视图的系统100。这样的系统100可以被配置成运行如本说明书中例如参考图1-图3所描述的操作系统和应用程序。系统100可以包括存储器140，该存储器可以包括表示操作系统的系统数据和表示应用程序的应用程序数据。系统100还可以包括处理器子系统120，该处理器子系统被配置成经由数据通信142与存储器通信并且执行操作系统和应用程序。举例来说，系统100还被示出为包括用于将显示数据182输出到与系统100连接的显示器080的显示输出。显示数据可以表示处理器系统120的可视化输出，诸如由显示服务器组件生成的显示信号，该可视化输出可以经由数据通信122提供给显示输出180。举例来说，系统100还被示出为包括大容量储存器160，该大容量储存器可以存储2D图像数据和3D启用辅助数据，处理器子系统可以经由数据通信162访问这些数据。

通常，该系统可以体现在单独的设备中或体现为单独的设备，例如，机顶盒、个人计算机、游戏控制台或可连接到(3D)显示器的类似设备。替代地，该系统可以体现在包括(3D)显示器的显示设备中或体现为包括(3D)显示器的显示设备，例如智能电话、平板设备、电视、显示器、监视器等。通常，该系统可以由一种设备或装置来实施。该设备或装置可以包括执行适当软件的一个或多个(微)处理器。实施一个或多个功能的功能性的软件可以已经被下载和/或被存储在相应的一个或多个存储器中，例如易失性存储器(诸如RAM)中或非易失性存储器(诸如闪存)中。替代地，系统的功能可以以可编程逻辑的形式实施在设备或装置中，例如作为现场可编程门阵列(FPGA)或作为专用集成电路(ASIC)或作为任何其他类型的电路或多个电路的组合。

本说明书中所描述的任何软件组件可以由用于计算机的指令(例如可执行代码)表示，所述指令可以存储在计算机可读介质500上，例如以一系列机器可读物理标记510的形式和/或者作为一系列具有不同电(例如，磁)或光学特性或值的元件。可以以暂时或非暂时的方式存储可执行代码。计算机可读介质的实施例包括存储器设备、光储存设备、在线软件等。图5示出了光盘500。例如，计算机可读介质500可以存储如本说明书中所描述的应用程序和/或显示服务器组件，可能作为操作系统的一部分。

应注意，上面所提及的实施方案例示而不是限制本发明，并且本领域技术人员将能够设计许多替代实施方案。

在权利要求中，置于括号内的任何附图标记不应被解释为限制权利要求。动词“包括”及其变形的使用不排除存在权利要求中所陈述的元件或步骤的之外的元件和步骤。元件前面的冠词“一”或“一个”不排除存在多个这样的元件。当在一列元件或一组元件之前时，诸如“……中的至少一个”这样的表述表示从该列或该组中选择所有的元件或元件的任何子集。例如，表述“A、B和C中的至少一个”应被理解为包括仅A、仅B、仅C、A和B二者、A和C二者、B和C二者或者所有的A、B和C。本发明可以借助于包括若干个不同元件的硬件以及借助于适当地编程的计算机来实施。在列举了若干个装置的设备权利要求中，这些装置中的若干个可以由同一硬件项来体现。某些措施被记载在相互不同的从属权利要求中的这一纯粹事实并不指示这些措施的组合不能够被用来获益。

Claims (14)

1.一种用于在显示器上显示应用程序的视图的系统(100)，其中所述视图表示用于3D显示器(080)的3D图像内容，所述系统包括：

-一个存储器(140)，所述存储器包括表示操作系统的系统数据和表示所述应用程序(200)的应用程序数据；

-一个处理器子系统(120)，所述处理器子系统被配置成与所述存储器通信并执行所述操作系统和所述应用程序；

其中，所述操作系统被配置成提供：

-用于管理由应用程序生成的视图的可见性的窗口管理器(220)；

-一个或多个显示服务器组件(252-256)，所述一个或多个显示服务器组件专用于一种类型的显示器并被配置成基于从所述窗口管理器获得的可见性信息，将所述视图合成为用于显示器的显示信号(440-444)；

其中，所述应用程序被配置成以至少两个视图的形式向所述窗口管理器提供所述3D图像内容，所述至少两个视图根据视图配置相对于彼此布置，其中所述至少两个视图包含包括2D图像数据(300)的主要视图(400)和包括3D启用辅助数据(310)的次级视图(410)，所述3D启用辅助数据指示所述2D图像数据的深度，其中所述应用程序(200)被配置成通过以下方式提供所述视图配置：

i)将所述主要视图(400)堆叠在所述次级视图(410)的前面，以提供所述主要视图遮挡所述次级视图的视图配置，或者

ii)通过指示一个视口(430)向所述窗口管理器(220)提供所述主要视图(400)，所述视口包括所述主要视图的2D图像数据并且通过将所述次级视图的3D启用辅助数据布置在所述视口的外部来向所述窗口管理器提供所述次级视图(410)，

从而使得当将所述至少两个视图合成为所述显示信号(440)时，用于2D显示器的2D显示服务器组件(252)省略绘制或过度绘制所述次级视图。

2.根据权利要求1所述的系统(100)，其中所述应用程序(200)被配置成，当将所述主要视图(400)堆叠在所述次级视图(410)的前面时，将相对Z顺序(420)指定到所述主要视图(400)和所述次级视图(410)，使得所述主要视图被堆叠在所述次级视图的前面。

3.根据权利要求1或2所述的系统(100)，其中所述应用程序(200)被配置成，当将所述主要视图(400)堆叠在所述次级视图(410)的前面时，提供堆叠在所述主要视图(400)和所述次级视图(410)之间的屏障视图，其中所述屏障视图是不透明的并且包括同质图像数据。

4.根据权利要求1或2所述的系统(100)，其中所述一个或多个显示服务器组件包括用于3D显示器的3D显示服务器组件(254，256)，并且其中所述应用程序(200)被配置成发信号通知所述3D显示服务器组件所述至少两个视图(400，410)表示3D图像内容。

5.根据权利要求4所述的系统(100)，其中所述3D显示服务器组件(254，256)提供用于允许应用程序与所述3D显示服务器组件接口的API(284)，并且其中所述应用程序(200)被配置成经由所述API发送信号通知所述3D显示服务器组件所述至少两个视图(400，410)表示3D图像内容，例如通过经由所述API向所述3D显示服务器组件注册所述至少两个视图的标识符。

6.根据权利要求1或2所述的系统(100)，其中所述一个或多个显示服务器组件包括3D显示服务器组件(254，256)，并且其中所述3D显示服务器组件被配置成基于所述应用程序(200)的元数据检测所述至少两个视图(400，410)表示3D图像内容。

7.根据权利要求6所述的系统(100)，其中所述应用程序(200)的元数据包括所述应用程序的标识符。

8.根据权利要求4所述的系统(100)，其中所述3D显示服务器组件(254，256)被配置成通过以下方式合成所述至少两个视图(400，410)：

-根据立体显示格式将所述主要视图和所述次级视图布置成同时示出在显示信号(444)中；或者

-基于所述主要视图和所述次级视图生成一个或多个另外的视图，并且根据多视图显示格式将所述主要视图和所述一个或多个另外的视图同时布置在所述显示信号(442)中。

9.根据权利要求1或2所述的系统(100)，其中所述3D启用辅助数据(310)是以下组中的一个：与所述2D图像数据(300)一起表示一对立体图像的另外的2D图像数据，或指示在所述2D图像数据中示出的对象到摄像机或观看者的距离的深度相关数据。

10.一种显示装置，包括根据权利要求1或2所述的系统。

11.一种向操作系统的窗口管理器(220)提供应用程序(200)的视图的计算机实施的方法，其中所述视图表示用于3D显示器的3D图像内容，其中所述操作系统被配置成提供：

所述窗口管理器(220)，其中所述窗口管理器被配置成管理由应用程序生成的视图的可见性；

一个或多个显示服务器组件(252-256)，所述一个或多个显示服务器组件专用于一种类型的显示器并被配置成基于从所述窗口管理器获得的可见性信息，将所述视图合成为用于显示器的显示信号；

所述方法包括：通过所述应用程序以至少两个视图的形式向所述窗口管理器提供所述3D图像内容，所述至少两个视图根据视图配置相对于彼此布置，其中所述至少两个视图包含包括2D图像数据的主要视图和包括3D启用辅助数据的次级视图，所述3D启用辅助数据指示所述2D图像数据的深度，其中所述通过提供所述视图配置的所述应用程序提供所述3D图像内容包括：

i)将所述主要视图堆叠在所述次级视图的前面，以提供所述主要视图遮挡所述次级视图的视图配置，或者

ii)通过指示一个视口向所述窗口管理器提供所述主要视图，所述视口包括所述主要视图的2D图像数据并且通过将所述次级视图的3D启用辅助数据布置在所述视口的外部来向所述窗口管理器提供所述次级视图，

从而使得当将所述至少两个视图合成为所述显示信号时，用于2D显示器的2D显示服务器组件省略绘制或过度绘制所述次级视图。

12.一种暂时性或非暂时性计算机可读介质(500)，包括表示应用程序的计算机程序(510)，所述计算机程序包括用于使处理器系统执行根据权利要求11所述的方法的指令。

13.一种合成在操作系统上执行的应用程序(200)的视图的计算机实施的方法，其中所述视图表示用于3D显示器的3D图像内容，其中所述操作系统被配置成提供：

用于管理由所述应用程序生成的视图的可见性的窗口管理器(220)；

用于3D显示器的3D显示服务器组件(254，256)，所述3D显示服务器组件被配置成基于从所述窗口管理器获得的可见性信息，将所述视图合成为用于所述3D显示器的显示信号；

其中所述应用程序(200)被配置成以至少两个视图的形式向所述窗口管理器提供所述3D图像内容，所述至少两个视图根据视图配置相对于彼此布置，其中所述至少两个视图包含包括2D图像数据的主要视图和包括3D启用辅助数据的次级视图，所述3D启用辅助数据指示所述2D图像数据的深度，其中所述应用程序(200)被配置成通过以下方式提供所述视图配置：

i)将所述主要视图堆叠在所述次级视图的前面，以提供所述主要视图遮挡所述次级视图的视图配置，或者

ii)通过指示一个视口向所述窗口管理器(220)提供所述主要视图，所述视口包括所述主要视图的2D图像数据并且通过将所述次级视图的3D启用辅助数据布置在所述视口的外部来向所述窗口管理器提供所述次级视图，

从而使得当将所述至少两个视图合成为所述显示信号时，用于2D显示器的2D显示服务器组件省略绘制或过度绘制所述次级视图；

所述方法包括通过所述3D显示服务器组件：

-基于从所述应用程序接收的信令或所述应用程序的元数据确定所述至少两个视图表示3D图像内容；以及

-对所述主要视图和所述次级视图进行处理，以获得用于所述3D显示器的显示信号。

14.一种暂时性或非暂时性计算机可读介质(500)，包括表示3D显示服务器组件的计算机程序(510)，所述计算机程序包括用于使处理器系统执行根据权利要求13所述的方法的指令。