CN116888962A - 用于图形伪影去除的参数化噪声合成 - Google Patents

Abstract

预编码噪声参数化技术减轻或消除视频帧中的条带和其他图形伪影，以供客户端设备解码和呈现。对于一个或多个输入视频帧，与输入视频帧相关联的量化参数被识别。噪声合成参数基于识别的量化参数被确定，并且输入视频帧被编码以供传输。编码的视频帧与所确定的噪声合成参数一起被发送到客户端设备，以供客户端设备用于生成合成噪声以添加到由客户端设备解码的结果视频帧。

Description

用于图形伪影去除的参数化噪声合成

背景技术

“云游戏”或“游戏流”通常涉及在一个或多个远程服务器上执行视频游戏应用，并将所得视频和音频内容分别作为视频流和音频流提供，其通过一个或多个网络被传输到用户的客户端设备。通过利用至少一个远程服务器(即，“云”)来执行图形渲染、视频捕获、视频编码和视频流传输的相关联的任务的一些或所有方面，用户可以运行性能繁重的游戏应用，而无需使用高端硬件客户端设备。代替地，用户通常可能仅需要显示屏、能够播放视频流的设备以及一个或多个用户输入设备。

然而，由于通常在云游戏场景中使用的视频编码过程，在所提供的输出视频流中，诸如在游戏内容的黑暗或低细节区域中，条带或其他图形伪影可能是可见的。这些图形伪影可能会分散用户的注意力，并且可能对使用云游戏平台起到抑制作用。

发明内容

在本文描述的实施例中，有效的实时噪声参数化技术被提供用于减轻或消除条带和其他图形伪影，诸如可以在云游戏或其他视频流应用中是有用的。对于一个或多个输入视频帧，与输入视频帧相关联的量化参数被识别。噪声合成参数基于识别的量化参数被确定，并且输入视频帧被编码以供传输。编码的视频帧与所确定的噪声合成参数一起被传输到客户端设备，以供客户端设备用于生成合成噪声以添加到由客户端设备解码的结果视频帧。在某些实施例中，噪声合成参数的确定可以进一步基于被识别为预处理一个或多个输入视频帧的一部分的一个或多个视频帧特性。

在一个示例实施例中，一种方法可以包括，对于一个或多个输入视频帧：识别与所述一个或多个输入视频帧相关联的量化参数(QP)；使用所识别的QP对一个或多个输入视频帧进行编码以传输到至少一个客户端设备；至少部分地基于所识别的QP来确定一个或多个噪声合成参数；并且，基于一个或多个输入视频帧的编码，发起向至少一个客户端设备的对一个或多个编码视频帧的传输。发起传输包括向所述至少一个客户端设备提供所确定的一个或多个噪声合成参数，使得除了表示所述一个或多个编码视频帧的量化信号之外，还有一个或多个噪声合成参数被传输到所述至少一个客户端设备。

该方法可以进一步包括经由游戏应用生成一个或多个输入视频帧。这可以包括与合成视频内容相关(与由相机设备捕获的现实世界图像产生的视频内容形成对比)的一个或多个输入视频帧。

一般而言，一个或多个噪声合成参数可以被确定为所识别的QP的函数。例如，取决于针对要编码的视频帧的至少一个像素识别的QP的特定值或者取决于所识别的QP所在的值的范围，可以使用映射函数来改变(例如，缩放)或者计算与所述至少一个像素相关联的噪声合成参数。

该方法可以进一步包括在编码之前预处理一个或多个输入视频帧。该方法还可以进一步包括基于输入视频帧的预处理来识别一个或多个视频帧特性。一个或多个噪声合成参数的确定可以进一步部分地基于一个或多个视频帧特性。一个或多个附加视频帧特性可以包括一个或多个输入视频帧中的至少一个的方差。

对一个或多个输入视频帧进行编码以供传输可以包括根据AV1视频编码标准对一个或多个输入视频帧进行编码，包括使用AV1视频编码标准中定义的胶片颗粒合成过程对一个或多个输入视频帧进行编码。关于某些实施例，本公开具体可以涉及根据在2019年1月18日发布的AV1视频编码标准1.0.0版本和任何更高版本——特别是在对应的标准版本定义了胶片颗粒合成过程的范围内——对一个或多个输入视频帧进行编码。

对一个或多个输入视频帧进行编码以供传输还可以包括根据高级视频编码(AVC)或“H.264”标准(诸如2003年5月30日发布的版本1或任何更新版本)、VP9(2013年6月17日发布)、和高效视频编码(HEVC)(诸如2013年4月13日发布的版本1或任何更新版本)对一个或多个输入视频帧进行编码。

提供所确定的噪声合成参数可以包括提供所确定的噪声合成参数以供至少一个客户端设备在合成噪声时使用以应用于一个或多个所传输的视频帧。

在另一示例实施例中，系统可以包括第一处理器，用于针对一个或多个输入视频帧：识别与所述一个或多个输入视频帧相关联的量化参数(QP)；使用所识别的QP对一个或多个输入视频帧进行编码以传输到至少一个客户端设备；至少部分地基于所识别的QP来确定一个或多个噪声合成参数；以及，基于所述一个或多个输入视频帧的编码，发起向所述至少一个客户端设备的对一个或多个编码视频帧的传输。发起传输可以包括向所述至少一个客户端设备提供所确定的一个或多个噪声合成参数。

第一处理器可以进一步预处理一个或多个输入视频帧。第一处理器可以进一步基于输入视频帧的预处理来识别一个或多个视频帧特性。确定一个或多个噪声合成参数可以进一步基于所述一个或多个视频帧特性。所述一个或多个视频帧特性可以包括所述一个或多个输入视频帧中的至少一个的方差。

对所述一个或多个输入视频帧进行编码以供传输可以包括根据AV1视频编码标准对所述一个或多个输入视频帧进行编码。

提供所确定的噪声合成参数可以包括向客户端设备提供所确定的噪声合成参数以合成噪声以应用于所述一个或多个输入视频帧。

该系统可以进一步包括第二处理器，用于经由游戏应用生成一个或多个输入视频帧。第一处理器可以不同于第二处理器。

在另一示例实施例中，一种非暂时性计算机可读介质包含可执行指令集合。该可执行指令集合用于操纵至少一个处理器以：识别与所述一个或多个输入视频帧相关联的量化参数(QP)；使用所识别的QP对所述一个或多个输入视频帧进行编码以传输到至少一个客户端设备；至少部分地基于所识别的QP来确定一个或多个噪声合成参数；以及，基于所述一个或多个输入视频帧的编码，发起向所述至少一个客户端设备的对一个或多个编码视频帧的传输。发起传输可以包括向所述至少一个客户端设备提供所确定的一个或多个噪声合成参数。

该可执行指令集合可以进一步操纵至少一个处理器来预处理一个或多个输入视频帧。该可执行指令集合可以进一步操纵所述至少一个处理器以基于输入视频帧的预处理来识别一个或多个视频帧特性。确定一个或多个噪声合成参数可以进一步部分地基于所述一个或多个视频帧特性。所述一个或多个视频帧特性可以包括一所述个或多个输入视频帧中的至少一个的方差。

对所述一个或多个输入视频帧进行编码以供传输可以包括根据AV1视频编码标准对所述一个或多个输入视频帧进行编码。

提供所确定的噪声合成参数可以包括向客户端设备提供所确定的噪声合成参数以合成噪声以应用于所述一个或多个输入视频帧。

该可执行指令集合可以进一步操纵所述至少一个处理器以经由游戏应用生成所述一个或多个输入视频帧。

附图说明

通过参考附图，本公开可以被更好地理解，并且其众多特征和优点对于本领域技术人员来说变得显而易见。在不同附图中使用相同的附图标记指示相似或相同的项目。

图1是图示根据一些实施例的经由分散的对等玩家输入和状态消息传送促进多玩家游戏的云游戏系统的框图。

图2描绘了已经由用于对游戏应用输出视频流进行编码的典型硬件加速编码器处理的视频帧的图像。

图3是图示与支持噪声合成的视频编码标准相关联的操作的示例的示意框图。

图4是图示根据一个或多个实施例的操作的示例的示意框图，其描绘所生成的噪声参数用于具有能够合成噪声的视频编码标准。

图5图示了根据一个或多个实施例的用于描述特定合成噪声模式的自回归模型的示例。

图6描绘了根据一个或多个实施例的当被建模为分段线性函数f(x)时合成噪声的相对强度。

图7是图示根据一个或多个实施例的操作的示例的示意框图，其描绘动态生成的噪声参数用于能够合成噪声的视频编码标准。

图8是图示根据一个或多个实施例的操作的示例的示意框图，其描绘了基于视频帧预处理特性对生成的噪声参数的修改。

图9是图示根据一个或多个实施例的基于处理器的参数化噪声合成系统的操作例程800的概述的框图。

图10是图示适合于实现一个或多个实施例的计算系统的示例的组件级框图。

具体实施方式

图1是示出根据至少一个实施例的促进单玩家和/或多玩家(包括大量多玩家)游戏的云游戏系统100的框图。云游戏系统100包括具有多个服务器104的云平台102，这些服务器104经由诸如互联网的一个或多个网络耦合到多个客户端设备106的对应子集。在所描绘的实施例中，服务器104经由高带宽、低延迟服务器间消息传送总线108互连。服务器104通常分布在地理区域上的一个或多个数据中心中，以便通过物理邻近性来减少传输延迟。在图1的简化示例中，云平台102包括支持九个客户端设备106-1至106-9的三个服务器104-1至104-3，其中，客户端设备106-1至106-4由服务器104-1服务，客户端设备106-5和客户端设备106-6由服务器104-2服务，并且客户端设备106-7至106-8由服务器104-3服务。应当理解，在典型的现实世界实施方式中，服务器104的数量和客户端设备106的数量通常将相当高。

在所描绘的实施例中，每个服务器104操作以执行对应的游戏平台实例，其促进对应玩家执行游戏应用的一个或多个模拟实例，这些实例中的每一个在本文中被称为“玩家模拟实例”。也就是说，游戏平台实例提供各种资源，诸如通信/网络管理、资源管理、媒体渲染编码等，以便为对应的玩家模拟游戏应用的执行，就像正在在诸如个人计算机(PC)或游戏控制台的本地游戏设备上玩游戏应用一样。因此，每个玩家模拟实例表示对应的玩家对于游戏应用的执行或模拟。为了说明，玩家实例可以被认为是虚拟游戏控制台；因此，这样的实例是支持单个游戏运行时的容器，包括单和多玩家游戏应用两者的联网、渲染、音频和视频编码、流式传输以及用户输入的接收。

每个客户端设备106表示用于通过操纵至少一个玩家的一个或多个输入/输出设备来接收玩家输入以及呈现分别表示至少一个玩家的游戏玩法的视觉和听觉内容的视频和自动内容的硬件和软件资源。客户端设备106的示例包括台式计算机、笔记本计算机、平板计算机、启用计算的蜂窝电话(即，“智能电话”)、启用计算的电视(即，“智能电视”)等。如参考客户端设备106-1所示，每个客户端设备106包括显示器110、至少一个游戏控制器112、耦合到将客户端设备106连接到对应服务器104的网络的一个或多个网络接口、处理器、存储器、大容量存储、扬声器和用于处理传入媒体流的其他计算资源，如本领域中众所周知的。

客户端设备106接收通过在对应的服务器104处执行对应的玩家模拟实例所生成的视频和音频流(未示出)，并利用其计算、存储和显示资源来用于解码和显示所传输的视频流的视频帧，并用于解码和输出对应的音频内容。在一些实施例中，来自在服务器104处执行的游戏应用的视频和音频内容的处理和显示由在客户端设备106处执行的软件应用促进(并且在图1中由图形用户界面(GUI)114表示)。该软件应用可以包括例如云游戏专用软件应用。在其他实施例中，利用更通用的软件应用，并且视频流和音频流由服务器104格式化和传输以与该软件应用兼容。例如，在一个实施例中，客户端设备106利用Web浏览器，该Web浏览器利用超文本标记语言(HTML)格式来显示由视频表示的视频内容并输出由相关联的音频流表示的音频内容，并且服务器104提供与HTML格式兼容的格式的视频流和音频流，以经由Web浏览器显示。

作为交互式，执行的玩家模拟实例利用玩家输入来至少部分地引导与玩家的游戏会话的游戏玩法体验。该玩家输入至少部分地通过游戏控制器112接收，游戏控制器112包括多种I/O设备中的任何一种或其组合，诸如游戏垫、操纵杆、键盘、鼠标、触摸板、轨迹球、方向盘或轭、踏板、舞蹈垫、模拟枪、光学运动跟踪器、惯性传感器、光源/激光源和检测器等。在一些实施例中，游戏控制器112被拴到客户端设备106，使得由玩家操纵游戏控制器112生成的玩家输入数据经由客户端设备106被提供给对应的服务器104。为了说明，游戏控制器112可以有线或无线地连接到客户端设备106，使得由游戏控制器112输出的所有数据都通过客户端设备106和将客户端设备106连接到服务器104的网络之间的网络接口进行路由。在其他实施例中，游戏控制器112具有经由网络与对应服务器104的分离的、独立的网络连接。例如，云游戏系统100可以采用客户端设备106和游戏控制器112本地的并且连接到互联网的无线局域网(WLAN)接入点(未示出)，并且其中，客户端设备106和游戏控制器112中的每一个与WLAN接入点建立分离的无线连接，以经由WLAN接入点通过互联网与对应的服务器104独立地通信。

作为云游戏系统100的总体概述，服务器104充分利用服务器间消息传送总线108的高带宽和低延迟来通过使用对等基础设施来实现大型多玩家游戏，对等基础设施允许协调由每个游戏平台实例支持的各个玩家模拟实例之间的游戏玩法，而不必需集中式多玩家游戏服务器，从而消除了对昂贵的服务器场、服务器运营团队以及通过传统集中式技术支持大量多玩家游戏通常涉及的其他费用的需要。

由于保持低输入延迟(用户提供客户端输入和从游戏接收响应服务器输出之间的延迟)对于云游戏应用至关重要，因此这样的应用与相对高的带宽要求相关联。为了满足这些带宽要求并保持低延迟视频流，硬件加速编码器(例如硬件加速AV1、高级视频编码(AVC)或“H.264”、VP9和高效视频编码(HEVC)编码器)已被部署在各种云游戏平台上，以确保用户在游戏玩法期间获得高质量的图形。然而，条带伪影通常是可见的，诸如在视频流的黑暗或低细节区域。这些和其他图形伪影可能会分散用户的注意力，并且可能会对使用这样的云游戏平台起到抑制作用。

图2描绘了由用于对游戏应用输出进行编码的典型硬件加速编码器编码的图像的示例单个视频帧200。视频帧包括若干区域205(为了清楚起见，在图2的图示中仅明确地指示三个这样的区域)，其包括若干明显的条带伪影，从而降低了视频帧的感知质量。

例如，当执行游戏应用的远程服务器尝试渲染色调的平滑渐变——诸如跨大片天空区域仅变化一点(以RGB颜色术语表示)的蓝色——时，这种条带伪影可能会产生。编码器通常利用量化来进行有效压缩，这可能会导致像素中微小变化的不正确表示。

实时消除这样的条带伪影以便将高质量视频流传输给不同的客户端对于任何云游戏平台解决以便吸引更多的游戏玩家来说都是一个挑战。编码器可以尝试通过在压缩期间使用较低的量化参数(QP)来减少任何产生的条带伪影，但是这种手段通常会导致不太适合交互式基于云的游戏应用的高比特率。因此，符合这种能够合成噪声的编码标准的任何解码器可能被迫使添加参数化噪声以产生所传输的视频帧的期望的抖动效果，而不增加那些视频帧的编码传输比特率。应当理解，如本文所使用的，视频帧、视频和音频内容或其他内容、参数、配置设置等的任何“传输”可以指代表和/或指示这样的元素的任何数据或信息的传输。

诸如AV1编码标准的某些视频编码标准提供噪声合成能力，以便通过参数化胶片颗粒噪声来提供带宽优势。胶片颗粒噪声可能在许多视频内容中是(有意和无意地)普遍存在的，并且通常难以压缩。一般来说，这样的手段涉及从视频内容中提取噪声，然后对无噪声内容进行编码。提取的噪声可以被参数化，并且客户端解码器可以从简单参数重新生成噪声。这导致了相对于代替地对噪声内容进行编码的手段会显著节省比特率。

图3是图示支持胶片颗粒(噪声)合成的编码标准的某些操作的示意框图，其中，使有噪声的视频帧305更容易编码而不破坏内容的艺术完整性(即，保留噪声)。在框310处提取视频帧305中的噪声以产生无噪声的视频帧320，在框315中对所提取的噪声进行分析和参数化。在框325处对无噪声视频帧进行编码。描述原始噪声的参数与编码比特流330一起被发送，编码比特流330在框335中被解码。在解码期间或之后，解码器使用生成的噪声参数来将原始噪声人为地再现为解码视频帧340的一部分。

鉴于游戏应用通常生成合成视频内容，这样的视频内容通常不具有胶片颗粒噪声。然而，本文提供的技术可用于通过利用生成的噪声参数以便以计算非密集且带宽节省的方式创建客户端抖动来减轻或甚至消除条带和其他图形伪影。

本文描述的系统和技术总体涉及高效实时预编码方案的实施例，该方案用于确定和生成适当的合成噪声参数以用于减轻或消除条带和其他图形伪影，同时使得能够以足以用于云游戏或其他视频流应用的比特率来流式传输视频内容。在某些实施例中，可以使用图形处理器(“GPU”)诸如经由一个或多个GPU着色器模块来实现所描述的系统和技术。

应当理解，虽然本文关于可以利用与云游戏和游戏内容相关的特定示例的视频内容的编码、解码和传输来讨论系统、技术和方案，但是它们可以被应用于附加的非游戏场境，诸如图像和视频的编码、解码和传输。本文提供的示例可以指涉及由于与游戏内容相关的特定带宽和网络等待时间问题而对这样的游戏内容进行编码和传输的场景，并且不应被解释为指示所描述的技术限于那些场景。

图4是图示根据一个或多个实施例的操作的示意框图，其描绘了所生成的噪声参数与具有能够合成噪声的视频编码标准相结合的使用。在各个实施例中可以由游戏应用生成并且因此不包括显著的胶片颗粒或其他噪声的视频帧405在框425处被编码。一个或多个噪声参数415被生成并且然后与编码比特流430一起(或与其分离地)被传输到客户端设备(未示出)，客户端设备在框435中对所传输的比特流进行解码。在解码期间或之后，客户端解码器使用一个或多个生成的噪声参数415来生成合成噪声并将其添加到解码比特流，以便创建和呈现抖动视频帧440。在这些和其他实施例中，通过将合成噪声添加到解码比特流而被提供的视频帧的抖动减轻或甚至消除由编码过程产生的条带和其他图形伪影的问题。

应当理解，噪声参数415的生成可以使得能够创建看起来“自然”的抖动视频帧——即，没有条带或其他图形伪影，并且添加到这样的视频帧的所得合成噪声不会被用户过于显而易见地注意到。例如，简单地添加任何随机白噪声可能会导致看起来不太自然的颗粒状图像。

图5图示了用于描述合成噪声模式的自回归模型501的示例。在所描绘的实施例中，像素位置505处的噪声——表示为N(X)——被导出为高斯噪声和在位置a0-a23中的每一个处添加的噪声的加权和，使得：

N(X)＝C(a0)*N(a0)+…+C(a23)*N(a23)+G

其中，C(a#)是应用于位置a#处的噪声N(a#)的缩放因子，并且G是单位方差高斯噪声。应当理解，对于所有位置a#来说C＝0将导致仅使用单位方差高斯噪声的结果，这通常产生较差的结果——上面提到的看起来不太自然的颗粒状图像。利用具有非零缩放因子C(a#)的该模型，可以生成看起来更自然的噪声模式。

在图6的实施例中，合成噪声的相对强度被建模为分段线性函数f(x)。例如，对于像素分量值x(其中，对于8比特输入，x＝0..255)，要添加的噪声是f(x)*N()，其中，N()是导出的噪声：如上面关于图4讨论的。图6图示了在某些实施例中可以如何描述f(x)的示例，其中，列出了分段线性函数f(x)的斜率改变的点。

在某些实施例中，用于与编码后合成噪声生成的有效预编码参数的确定可以被执行一次，使得相同的预生成噪声模式可以用于处理和传输所有后续输入视频帧。在其他实施例中，可以动态并且实时地执行有效参数的确定，诸如响应于输入视频帧本身的一个或多个特性的改变。例如，在某些实施例中，可以分析每个输入视频帧以确定用于对输入视频帧进行编码的量化参数(QP)，并且可以至少部分地基于该QP来确定用于生成合成噪声的参数。

图7是图示根据一个或多个实施例的操作的示例的示意框图，其描绘动态生成的噪声参数与具有能够合成噪声的视频编码标准的使用。在所描绘的实施例中，视频帧705由游戏应用生成，并且因此不包括显著的胶片颗粒或其他噪声。输入视频帧705在框725处被编码。然而，与图4的实施例相反，一个或多个生成的噪声参数是基于编码过程本身的参数并且特别地基于与输入视频帧705的编码相关联的QP来被修改的。作为一个示例，使用较小的QP来编码的输入视频帧可能会受到不太显而易见的条带或其他图形伪影的影响，这指示了较小程度的合成噪声可能足以减轻或消除那些图形伪影。使用较大QP编码的输入视频帧可能代替地会受到更显而易见的条带或其他图形伪影的影响，这指示了可能需要更大程度的合成噪声来减轻或消除这样的伪影。因此，在某些实施例中，噪声参数修改器710可以被确定为与编码725相关联的量化参数712的函数。

然后，经由噪声参数修改器710修改的一个或多个生成的噪声参数715与编码比特流730一起(或与其分离地)被传输到客户端设备，编码比特流730在框735中由客户端设备解码。在解码期间或之后，客户端解码器使用一个或多个噪声参数来基于所提供的一个或多个修改的噪声参数集合以生成合成噪声并将其添加到解码的比特流中，以便创建和呈现抖动视频帧740。应当理解，尽管在图7的实施例中为了便于说明而分离地描绘了一个或多个生成的噪声参数715的修改，但在某些实施例中，一个或多个噪声参数的“修改”可以作为那些一个或多个噪声参数的生成的一部分来执行，使得不对已经生成的噪声参数执行分离的修改操作。

在某些实施例中，诸如如果输入视频帧的预处理在编码之前利用或识别某些特性，则可以进一步基于输入视频帧的预处理来生成和/或修改一个或多个合成噪声参数。例如，一个或多个输入视频帧的方差和/或其他特性可以被识别为预处理那些输入视频帧的一部分。

图8是图示根据一个或多个实施例的操作的示例的示意框图，其描绘动态生成的噪声参数与具有能够合成噪声的视频编码标准的使用。正如图4和7的实施例，在所描绘的实施例中，输入视频帧(在该示例中，输入视频帧805)由游戏应用生成，并且因此不包括显著的胶片颗粒或其他噪声。在框807处输入视频帧805被预处理，在此期间输入视频帧的一个或多个特性被识别。在框825处预处理视频帧820被编码。另外，一个或多个合成噪声参数的集合在框815处被生成，并且使用噪声参数修改器810来被修改，该噪声参数修改器810基于以下部分被确定：(a)与预处理的视频帧820的编码825相关联的QP，以及(b)在预处理807期间识别的输入视频帧805的一个或多个特性中的至少一个。作为一个非限制性示例，噪声参数修改器810可以进一步部分地基于每个预处理视频帧820的方差。如关于图7的实施例所述，应当理解，尽管在图8的实施例中为了便于说明而分离地描绘了对一个或多个生成的噪声参数815的修改，但是在某些实施例中，对一个或多个噪声参数的集合的修改可以作为对一个或多个噪声参数的所述集合的生成的一部分来执行，使得不会执行分离的修改操作。

经由噪声参数修改器810修改的所生成的噪声参数815然后与编码比特流830一起(或与其分离地)被传输到客户端设备，编码比特流830在框835中由客户端设备(未示出)解码。在解码期间或之后，客户端解码器使用一个或多个噪声参数来基于所提供的一个或多个修改的噪声参数的集合以生成合成噪声并将其添加到解码的比特流，以便创建和呈现抖动视频帧840。

图9是图示根据一个或多个实施例的、基于处理器的参数化噪声合成系统(诸如可以包括图1的服务器104中的任何一个的一部分和/或图10的计算系统1000)的操作例程900的概述的框图。在某些实施例中，诸如如果这样的视频图像帧被生成为由云游戏平台的一个或多个服务器执行的游戏应用的顺序输出的一部分，则操作例程900可以被实时执行(例如，当较大视频流的每个视频帧被生成时)以便准备一个或多个视频图像帧用于编码和传输。

该例程开始于框905，其中，基于处理器的参数化噪声合成系统生成一个或多个视频帧。在各种实施例中，一个或多个视频帧可以由诸如单核或多核中央处理单元(CPU)的第一处理器生成，并且被提供给区别的第二处理器(诸如单核或多核GPU)，以用于在对输入视频帧进行编码以传输到一个或多个客户端设备之前进行噪声参数生成和/或其他操作。例程进行到框910。

在框910处，基于处理器的参数化噪声合成系统诸如基于一个或多个定义的标准、基于一个或多个用户偏好、或者响应于明确请求而确定在编码之前一个或多个输入视频帧是否要被预处理。如果是，则例程进行到框915；否则，例程进行到框925。

在框915，基于处理器的参数化噪声合成系统对一个或多个输入视频帧执行一个或多个预处理操作。然后例程进行到框920，其中，基于处理器的参数化噪声合成系统基于预处理来识别一个或多个预处理特性。应当理解，虽然为了清楚起见，预处理操作以及一个或多个预处理特性的识别在这里被描绘为区别的顺序操作，但是在各种实施例中，输入视频帧的预处理和一个或多个视频帧特性的识别可以同时、并行或以另一种非顺序方式执行。例程进行到框925。

在框925，基于处理器的参数化噪声合成系统识别用于对一个或多个输入视频帧进行编码的量化参数QP。然后例程进行到框930，其中，基于处理器的参数化噪声合成系统根据具有能够合成噪声的视频编码标准对一个或多个输入视频帧进行编码。(应当理解，如果在框910中确定要预处理输入视频帧，则对预处理的视频帧执行编码操作。)例程然后进行到框935。

在框935处，基于处理器的参数化噪声合成系统基于所识别的量化参数并且如果在框910中确定预处理一个或多个输入视频帧则基于在预处理期间识别的一个或多个视频帧特性来确定一个或多个噪声合成参数的集合。如本文别处更详细地讨论的，在各种实施例中，该一个或多个噪声合成参数的集合可以在统一操作中被生成，或者可以首先被生成并且然后基于所识别的QP和/或视频帧特性被修改。然后例程进行到框950。

在框950处，基于处理器的参数化噪声合成系统发起向一个或多个客户端设备的对一个或多个编码视频帧的传输，并提供所确定的一个或多个噪声合成参数的集合，诸如由客户端设备的解码器用于生成合成参数化噪声以添加到解码的视频帧。

图10是图示适合于实现一个或多个实施例的计算系统1000的示例的组件级框图。在可替代实施例中，计算系统1000可以作为独立设备操作或者可以连接(例如，联网)到其他系统。在各种实施例中，计算系统1000的一个或多个组件可以被并入作为一个或多个服务器计算系统或被并入一个或多个服务器计算系统内以提供各种类型的游戏应用输出或其他视频内容。应当理解，相关联的服务器计算设备可以包括计算系统1000的一些组件，但不一定包括所有组件。在联网部署中，计算系统1000可以以服务器机器、客户端机器或两者的身份在服务器-客户端网络环境中操作。在至少一个示例中，计算系统1000可以充当对等(P2P)(或其他分布式)网络环境中的对等系统。计算系统1000可以是服务器计算机、个人计算机(PC)、平板PC、机顶盒(STB)、移动计算设备、Web装置、网络路由器、交换机或桥接器、或能够执行指定要由系统进行的动作的指令(顺序或以其他方式)的任何系统。此外，虽然仅示出了单个系统，但术语“系统”还应当被理解为包括单独或联合执行一个(或多个)指令集合以执行本文所讨论的方法中的任何一个或多个的系统的任何合集，诸如云计算、软件即服务(SaaS)、其他计算机集群配置。

如本文所描述的，示例可以包括逻辑或多个组件或机制，或者可以通过逻辑或多个组件或机制来操作。电路系统是在包括硬件(例如简单电路、门、逻辑等)的有形实体中实现的电路的合集。电路系统成员资格可以随着时间和底层硬件的变化而是灵活的。电路系统包括在操作时可以单独或组合地执行指定操作的成员。在示例中，电路系统的硬件可以被不变地设计为执行特定操作(例如，硬连线)。在示例中，电路系统的硬件可以包括可变连接的物理组件(例如，执行单元、晶体管、简单电路等)，其包括被物理修改(例如，磁性、电学、不变聚集粒子的可移动放置等)以用于编码具体操作的指令的计算机可读介质。在连接物理组件时，硬件构成件的底层电气属性发生改变，例如从绝缘体变为导体，或者反之亦然。这些指令使得嵌入式硬件(例如，执行单元或加载机制)能够经由可变连接在硬件中创建电路系统的成员，以在操作时执行特定操作的部分。因此，当设备正在操作时，计算机可读介质可通信地耦合到电路系统的其他组件。在示例中，任何物理组件可以用在多于一个电路系统的多于一个成员中。例如，在操作中，执行单元可以在一个时间点在第一电路系统的第一电路中使用，并且在不同的时间由第一电路系统中的第二电路重复使用，或者由第二电路系统中的第三电路重复使用。

计算系统1000可以包括一个或多个硬件处理器1002(例如，中央处理单元(CPU)、硬件处理器核、或其任何组合)、主存储器1004、以及图形处理单元(GPU)1006，这些的一些或者所有可以经由互连链路(例如，总线)1008彼此通信。计算系统1000可以进一步包括显示单元1010(诸如显示监视器或其他显示设备)、字母数字输入设备1012(例如，键盘或其他物理或基于触摸的致动器)、以及用户界面(UI)导航设备1014(例如，鼠标或其他指点设备，诸如基于触摸的界面)。在一个示例中，显示单元1010、输入设备1012和UI导航设备1014可以包括触摸屏显示器。计算系统1000可以附加地包括存储设备(例如，驱动单元)1016、信号生成设备1018(例如，扬声器)、网络接口设备1020、以及一个或多个传感器1021，诸如全球定位系统(GPS)传感器、指南针、加速度计或其他传感器。计算系统1000可以包括输出控制器1028，诸如串行(例如，通用串行总线(USB))、并行、或其他有线或无线(例如，红外(IR)、近场通信(NFC)等)连接，以用于与一个或多个外围设备(例如打印机、读卡器等)通信或控制一个或多个外围设备(例如打印机、读卡器等)。

存储设备1016可以包括计算机可读介质1022，其上存储了体现由本文描述的任何一种或多种技术或功能或由本文描述的任何一种或多种技术或功能使用的数据结构或指令1024(例如，软件)的一个或多个集合。指令1024在由计算系统1000执行其期间还可以完全或至少部分地驻留在主存储器1004内、GPU 1006内或硬件处理器1002内。在示例中，硬件处理器1002、主存储器1004、GPU 1006或存储设备1016中的一个或任何组合可以构成计算机可读介质。

虽然计算机可读介质1022被图示为单个介质，但是术语“计算机可读介质”可以包括被配置为存储一个或多个指令1024的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。

术语“计算机可读介质”可以包括能够存储、编码或携带由计算系统1000执行的指令并且使得计算系统1000执行本公开的技术中的任何一项或多项或者能够存储、编码或携带由这样的指令使用或与这样的指令相关联的数据结构的任何介质。非限制性计算机可读介质示例可以包括固态存储器以及光学和磁性介质。在示例中，大容量的计算机可读介质包括具有多个具有不变(例如，静止)质量的粒子的计算机可读介质。因此，大容量的计算机可读介质不是暂时性传播信号。大容量的计算机可读介质的具体示例可以包括：非易失性存储器，例如半导体存储器件(例如，电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存器件；磁盘，诸如内置硬盘和可移动磁盘；磁光盘；以及，CD-ROM和DVD-ROM盘。

可以进一步利用传输介质经由网络接口设备1020利用多种传输协议(例如，帧中继、网际协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等中的任意一种)来在通信网络1026上发送或接收指令1024。示例通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如，互联网)、移动电话网络(例如，蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如，称为的电气和电子工程师协会(IEEE)802.11标准系列、称为/>的IEEE 802.16标准系列)、IEEE 802.15.4标准系列、点对点对等(P2P)网络等。在示例中，网络接口设备1020可以包括一个或多个物理插孔(例如，以太网、同轴电缆或电话插孔)或一个或多个天线以连接到通信网络1026。在示例中，网络接口设备1020可以包括多个天线，以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一种来进行无线通信。术语“传输介质”应被理解为包括能够存储、编码或携带由计算系统1000执行的指令的任何无形介质，并且包括数字或模拟通信信号或其他无形介质以促进这种软件的通信。

在一些实施例中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。该软件包括存储在或以其他方式有形地体现在非暂时性计算机可读存储介质上的可执行指令的一个或多个集合。该软件可以包括指令和某些数据，指令和某些数据当由一个或多个处理器执行时，操纵一个或多个处理器以执行上述技术的一个或多个方面。非暂时性计算机可读存储介质可以包括例如磁盘或光盘存储设备、诸如闪存的固态存储设备、高速缓存、随机存取存储器(RAM)或一个或多个其他非易失性存储设备等等。存储在非暂时性计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或由一个或多个处理器解释或以其他方式可执行的其他指令格式。

计算机可读存储介质可以包括在使用期间可由计算机系统访问以向计算机系统提供指令和/或数据的任何存储介质或存储介质的组合。这样的存储介质可以包括但不限于光学介质(例如，致密盘(CD)、数字多功能盘(DVD)、蓝光光盘)、磁介质(例如，软盘、磁带或磁硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。计算机可读存储介质可以被嵌入在计算系统(例如，系统RAM或ROM)、固定地附接到计算系统(例如，磁硬盘驱动器)、可拆卸地附接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)或经由有线或无线网络被耦合到计算机系统(例如网络可访问存储(NAS))。

注意，并非一般描述中上述的所有活动或元素都是必需的，特定活动或设备的一部分可能不是必需的，并且可以执行一个或多个进一步的活动，或者除了所描述的之外还包括一个或多个进一步的元素。此外，列出活动的次序不一定是执行它们的次序。此外，已经参考具体实施例描述了这些概念。然而，本领域普通技术人员应当理解，在不脱离所附权利要求中阐述的本公开的范围的情况下，可以做出各种修改和改变。因此，应当在说明性的而不是限制性的意义上看待说明书和附图，并且所有这样的修改旨在被包括在本公开的范围内。

上面已经关于具体实施例描述了益处、其他优点和问题的解决方案。然而，益处、优点、问题的解决方案以及可能导致任何益处、优点和解决方案出现或变得更加明显的任何特征不应被解释为任何或所有权利要求的关键、必需或基本特征。此外，上面公开的特定实施例仅是说明性的，因为可以以对于受益于本文的教导的本领域技术人员显而易见的不同但等效的方式修改和实践所公开的主题。除了所附权利要求中所描述的之外，不旨在限制本文所示的构造或设计的细节。因此，明显的是，可以改变或修改上面公开的特定实施例，并且所有这样的变化被认为在所公开的主题的范围内。因此，本文所寻求的保护如所附权利要求中所阐述。

Claims (22)

1.一种计算机实现的方法，包括：

对于一个或多个输入视频帧：

识别所述一个或多个输入视频帧的量化参数QP；

使用所识别的QP对所述一个或多个输入视频帧进行编码以传输到至少一个客户端设备；

至少部分地基于所识别的QP来确定一个或多个噪声合成参数；以及

基于所述一个或多个输入视频帧的所述编码，发起向所述至少一个客户端设备的对一个或多个编码视频帧的传输，其中，发起所述传输包括向所述至少一个客户端设备提供所确定的一个或多个噪声合成参数。

2.根据权利要求1所述的计算机实现的方法，进一步包括经由游戏应用生成所述一个或多个输入视频帧。

3.根据权利要求1至2中任一项所述的计算机实现的方法，其中，所述一个或多个噪声合成参数被确定为所识别的QP的函数。

4.根据权利要求1至3中任一项所述的计算机实现的方法，进一步包括在所述编码之前预处理所述一个或多个输入视频帧。

5.根据权利要求4所述的计算机实现的方法，进一步包括基于所述输入视频帧的所述预处理来识别一个或多个视频帧特性，并且其中，所述一个或多个噪声合成参数的所述确定进一步部分地基于所述一个或多个视频帧特性。

6.根据权利要求5所述的计算机实现的方法，其中，所述一个或多个附加视频帧特性包括所述一个或多个输入视频帧中的至少一个的方差。

7.根据前述权利要求中任一项所述的计算机实现的方法，其中，对所述一个或多个输入视频帧进行编码以供传输包括：根据AV1视频编码标准对所述一个或多个输入视频帧进行编码。

8.根据前述权利要求中任一项所述的计算机实现的方法，其中，提供所确定的噪声合成参数包括：提供所确定的噪声合成参数以供所述至少一个客户端设备在合成噪声时使用以应用于一个或多个传输的视频帧。

9.一种系统，包括至少一个处理器和被耦合到所述至少一个处理器并存储可执行指令集合的存储器，所述可执行指令在由所述至少一个处理器执行时操纵所述至少一个处理器以执行根据权利要求1至7中的任一项所述的方法。

10.一种系统，包括：

第一处理器，用于对于一个或多个输入视频帧：

识别与所述一个或多个输入视频帧相关联的量化参数QP；

使用所识别的QP对所述一个或多个输入视频帧进行编码以传输到至少一个客户端设备；

至少部分地基于所识别的QP来确定一个或多个噪声合成参数；以及

基于所述一个或多个输入视频帧的所述编码，发起向所述至少一个客户端设备的对一个或多个编码视频帧的传输，其中，发起所述传输包括向所述至少一个客户端设备提供所确定的一个或多个噪声合成参数。

11.根据权利要求10所述的系统，其中，所述第一处理器进一步预处理所述一个或多个输入视频帧。

12.根据权利要求10至11中任一项所述的系统，其中，所述第一处理器进一步用于基于所述输入视频帧的所述预处理来识别一个或多个视频帧特性，并且其中，确定所述一个或多个噪声合成参数进一步基于所述一个或多个视频帧特性。

13.根据权利要求13所述的系统，其中，所述一个或多个视频帧特性包括所述一个或多个输入视频帧中的至少一个的方差。

14.根据权利要求10至13中任一项所述的系统，其中，对所述一个或多个输入视频帧进行编码以供传输包括：根据AV1视频编码标准对所述一个或多个输入视频帧进行编码。

15.根据权利要求10至14中任一项所述的系统，其中，提供所确定的噪声合成参数包括：提供所确定的噪声合成参数以供所述客户端设备合成噪声以应用于所述一个或多个输入视频帧。

16.根据权利要求10至15中任一项所述的系统，进一步包括第二处理器，所述第二处理器用于经由游戏应用生成所述一个或多个输入视频帧。

17.根据权利要求16所述的系统，其中，所述第一处理器区别于所述第二处理器。

18.一种服务器计算系统，包括：

一个或多个处理器的集合，用于：

经由游戏应用的执行生成一个或多个输入视频帧；

识别与所述一个或多个输入视频帧相关联的量化参数QP；

使用所识别的QP对所述一个或多个输入视频帧进行编码以传输到至少一个客户端设备；

至少部分地基于所识别的QP来确定一个或多个噪声合成参数；以及

基于所述一个或多个输入视频帧的所述编码，发起向所述至少一个客户端设备的对一个或多个编码视频帧的传输；以及网络接口，所述网络接口被耦合到所述一个或多个处理器的集合并且被配置为经由至少一个计算机网络向一个或多个客户端计算系统提供所述一个或多个编码视频帧以及所确定的一个或多个噪声合成参数。

19.根据权利要求18所述的服务器计算系统，其中，所述一个或多个处理器的集合进一步操纵所述至少一个处理器来预处理所述一个或多个输入视频帧。

20.根据权利要求19所述的服务器计算系统，其中，所述可执行指令集合进一步操纵所述至少一个处理器以基于所述输入视频帧的所述预处理来识别一个或多个视频帧特性，并且其中，确定所述一个或多个噪声合成参数进一步部分地基于所述一个或多个视频帧特性。

21.根据权利要求20所述的服务器计算系统，其中，所述一个或多个视频帧特性包括所述一个或多个输入视频帧中的至少一个的方差。

22.根据权利要求18所述的服务器计算系统，其中，对所述一个或多个输入视频帧进行编码以供传输包括：根据AV1视频编码标准对所述一个或多个输入视频帧进行编码。