[go: up one dir, main page]

CN118447151A - 重光照方法和装置 - Google Patents

重光照方法和装置 Download PDF

Info

Publication number
CN118447151A
CN118447151A CN202310122687.5A CN202310122687A CN118447151A CN 118447151 A CN118447151 A CN 118447151A CN 202310122687 A CN202310122687 A CN 202310122687A CN 118447151 A CN118447151 A CN 118447151A
Authority
CN
China
Prior art keywords
image
user
light source
information
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310122687.5A
Other languages
English (en)
Inventor
彭璐
徐海
范燕平
张亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310122687.5A priority Critical patent/CN118447151A/zh
Priority to PCT/CN2023/113958 priority patent/WO2024159735A1/zh
Publication of CN118447151A publication Critical patent/CN118447151A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请实施例提供了一种重光照方法，其中，该方法包括：获取第一图像、第一位置和光源信息，第一图像包括第一用户的人像，第一位置用于指示第一用户在预设的场景中的位置信息，光源信息包括光源在所述场景中的位置和光源的光照信息；根据第一图像和第一位置，确定第一用户的第一光反射信息，第一光反射信息用于指示所述第一用户在第一位置时身体表面对光的反射情况；根据第一图像、光源信息、第一光反射信息，渲染得到第二图像，第二图像包括根据光源信息对第一用户在场景中的第一位置进行重光照的人像。本申请技术方案能够利用用户的位置信息来生成用户重光照的人像，使得生成的图像的光照结果符合实际，提高了线上会议的真实感。

Description

重光照方法和装置
技术领域
本申请实施例涉及计算机领域，具体涉及一种重光照方法和装置。
背景技术
随着远程视频技术的发展，人们对视频会议的要求也越来越高，希望线上会议能有线下会议一样真实的体验感。因此，虚拟会议室越来越多，虚拟会议室能够将参会者的人像与线下会议的场景进行合成，模拟现实的会议场景。
视频会议中，大部分情况下每个人都是在不同的地方各自参会，例如每个人都在自己的家中参会。由于每个人所处的环境都是不一样的，因此每个人所处地方的光照条件也是不一样的。这种情况下，直接提取每个与会者的人像然后与背景进行合成会有强烈的违和感。
因此，如何提高线上会议的真实感是一个亟待解决的技术问题。
发明内容
本申请实施例提供一种重光照方法和装置，能够利用用户在预设场景中的位置信息来生成重光照的图像，使得生成的图像的光照结果符合实际，提高了线上会议的真实感。
第一方面，提供了一种重光照方法，该方法包括：获取第一图像、第一位置和光源信息，所述第一图像包括第一用户的人像，所述第一位置用于指示所述第一用户在预设的场景中的位置信息，所述光源信息包括光源在所述场景中的位置和所述光源的光照信息；根据所述第一图像和所述第一位置，确定所述第一用户的第一光反射信息，所述第一光反射信息用于指示所述第一用户在所述第一位置时身体表面对光的反射情况；根据所述第一图像、所述光源信息、所述第一光反射信息，渲染得到第二图像，所述第二图像包括根据所述光源信息对所述第一用户在所述场景中的所述第一位置进行重光照的人像。
本申请实施例提供一种重光照方法，能够利用用户在预设场景中的位置信息来生成重光照的图像，使得生成的图像的光照结果符合实际，提高了线上会议的真实感。
应理解，第一图像为不包括背景的人像数据。在一种可能的实现方式中，第一图像是从一张包括背景和人像的图像中提取出的人像。
在一种可能的应用场景中，对于视频会议，有至少一个摄像头实时采集会议时对应的图片，然后将该图片中第一用户的人像提取出来。该图片可以包括多个用户，第一用户为该多个用户中的一个，该图片也可以仅包括第一用户。在一种可能的应用场景中，会议对应的图片可以是预先存储的，视频会议时通过网络获取会议接入终端的包含人像的图片，例如静态的人像图片、卡通图片、三维(three-dimensional，3D)人像模型、3D游戏人物等。可选的，还可以通过识别会议接入端的用户标识号(identity document，ID)，通过预设的候选图库查找得到该ID对应的人像。
应理解，人像可以是人的头部、上半身，或者全身，本申请对此不作限定。人像可以包括分割背景后的人像图片、分割对应的人像轮廓图或者轮廓坐标。
应理解，第一位置用于指示第一用户在预设的场景中的位置信息，例如在二维场景中的二维坐标，在三维场景中的三维坐标，或者可以是第一用户虚拟座位的坐标或者位置编号等。
应理解，本申请中的光源信息可以包括一个或者多个光源的信息。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：获取背景图像，所述背景图像为包括所述场景的图像，所述第一位置为所述第一用户的人像在所述背景图像中的位置；根据所述背景图像和所述第二图像，生成第一合成图像，所述第一合成图像包括所述第一用户在所述背景图像中的所述第一位置的效果图。
背景图像包括用于最终生成重光照图像的背景图片，背景图像可以是普通的二维图像，比如课室、会议室、带有办公桌的书房等图片。背景图像还可以是三维的虚拟背景，例如通过三维建模输出的课室、会议室等带有座位的房间模型。
本申请实施例提供一种重光照方法，能够利用用户在预设场景中的位置信息来生成重光照的人像，重光照的人像和背景融合后符合用户实际位于该背景图像中特定位置的光照情况，光照效果符合实际，提高了线上会议的真实感。
结合第一方面，在第一方面的某些实现方式中，所述根据所述第一图像和所述第一位置，确定所述第一用户的第一光反射信息，包括：根据所述第一图像和所述第一位置，确定所述第一用户的身体的反射率和所述第一用户在全局坐标系下身体的表面法向量，所述全局坐标系为根据所述背景图像建立的坐标系。
示例性地，可以利用输入的人像图片，通过神经网络提取第一用户的表面法向量与反射率信息，此时计算得到的用户的表面法向量是以第一用户自己为中心的向量表示，还需要根据用户在全局坐标系中的坐标，将用户的表面法向量平移成全局坐标系下的向量表示。该神经网络可以是卷积神经网络(convolutional neural networks，CNN)、递归神经网络(recursive neural network，RNN)或者长短期记忆网络(long short-term memory，LSTM)等，本申请不限制该神经网络的具体类型。
在一些可能的实现方式中，也可以利用人像图片，通过映射表或者函数关系来得到第一用户的表面法向量与反射率信息。
在一些可能的实现方式中，也可以直接将人像图片和第一位置输入到神经网络，直接得到第一用户的身体的反射率和第一用户在全局坐标系下身体的表面法向量。
本申请实施例提供一种重光照方法，能够利用用户在预设场景中的位置信息得到用户的身体的反射率和用户在全局坐标系下身体的表面法向量，并利用该反射率和表面法向量生成重光照的图像，使得生成的图像的光照结果更符合实际情况，提高了线上会议的真实感。
结合第一方面，在第一方面的某些实现方式中，所述方法还包括：获取第三图像和第二位置，所述第三图像包括第二用户的人像，所述第二位置用于指示所述第二用户在所述场景中的位置信息；根据所述第三图像和所述第二位置，确定所述第二用户的第二光反射信息，所述第二光反射信息用于指示所述第二用户在所述第二位置时身体表面对光的反射情况；根据所述第三图像、所述光源信息、所述第二光反射信息，确定第四图像，所述第四图像包括根据所述光源信息对所述第二用户在所述场景中的所述第二位置进行重光照的人像；根据所述背景图像、所述第二图像和所述第四图像，生成第二合成图像，所述第二合成图像包括所述第一用户和所述第二用户在所述背景图像中对应位置的效果图。
可选的，第二用户也可以指的是多个用户，本申请提供的方法也可以用于合成多个用户同框的重光照效果图。多个用户在背景图片中的位置信息，如虚拟座位的坐标，可以采用预设的方式。示例性地，可以按照用户ID排序、按照接入时间排序、按照用户名称首字母排序等方式。可选的，也可以由用户自定义输入位置信息，或者可以在选定虚拟背景后由座位识别算法自动识别出座位并赋予坐标。多个用户中对每个用户的人像进行重光照的过程类似第一用户的人像进行重光照的过程，本申请不再重复赘述。
本申请实施例提供一种重光照方法，可以适用于多人同框的重光照场景，考虑了场景中不同位置光线对每个用户的不同影响，使得生成的同框图像更贴近实际，更加自然。
结合第一方面，在第一方面的某些实现方式中，所述光源信息包括与所述光源有关的参数或者图像。
应理解，本申请实施例中的光源信息可以以参数或者图像的形式进行输入。示例性地，光源信息采用参数化形式输入，可以指定光源的三维或者二维坐标、光照强度、色温或者饱和度等信息。可选的，光源信息也可以从输入的光照参考图像中提取，示例性地的，该参考图像可以是上述背景图片，例如通过神经网络提取出参考光照图片中的光源信息。
本申请实施例提供一种重光照方法，光源信息可以以参数或者图像的形式进行输入，光源的定义更加灵活，通用于二维、三维、多光源等多种场景。
结合第一方面，在第一方面的某些实现方式中，所述光源信息随着时间的变化而变化。
应理解，光源的坐标位置和光源的光照信息都可以随着时间发生变化。
在可变化光源的一种可能的实现方式中，可以预先设置光源随时间变化的函数。例如，用f(t)表示光源函数，f(t)可以是随时间变化的连续函数，用于模拟太阳东升西落的光源效果。可选的，f(t)还可以是分段函数，t为时间，t可以包括早、中、晚三种时间段。
在可变化光源的另一种可能的实现方式中，可以预先设置光源随时间变化的映射表。时间t是由系统读取到的或者是由用户输入的，根据当前获取到的时间t，通过预先设置的查找表，得到对应的光源信息(光源位置、强度、饱和度等)。
在可变化光源的另一种可能的实现方式中，光源可以通过多张不同的光源图片表示，每张图片表示一个与时间对应的光源信息。例如早、中、晚各有一张光源图片表示对应的光源信息。
本申请实施例提供一种重光照方法，考虑了光源随时间变化的场景，使得生成的重光照图像的光照效果更加生动真实、多样化。
结合第一方面，在第一方面的某些实现方式中，所述光源的光照信息包括所述光源的光照强度、色温、入射方向、饱和度中的任意一种或多种。
结合第一方面，在第一方面的某些实现方式中，所述根据所述第一图像、所述光源信息、所述第一光反射信息，渲染得到第二图像，包括：根据所述第一图像、所述光源信息、所述第一光反射信息，通过光线追踪或者神经网络模型渲染得到所述第二图像。
本申请实施例提供一种重光照方法，能够利用用户在预设场景中的位置信息通过光线追踪或者神经网络模型来生成重光照的图像，使得生成的图像的光照结果符合实际，提高了线上会议的真实感。
第二方面，本申请实施例提供一种计算机装置，该装置包括：获取模块，用于获取第一图像、第一位置和光源信息，所述第一图像包括第一用户的人像，所述第一位置用于指示所述第一用户在预设的场景中的位置信息，所述光源信息包括光源在所述场景中的位置和所述光源的光照信息；处理模块，用于根据所述第一图像和所述第一位置，确定所述第一用户的第一光反射信息，所述第一光反射信息用于指示所述第一用户在所述第一位置时身体表面对光的反射情况；所述处理模块，还用于根据所述第一图像、所述光源信息、所述第一光反射信息，渲染得到第二图像，所述第二图像包括根据所述光源信息对所述第一用户在所述场景中的所述第一位置进行重光照的人像。
结合第二方面，在第二方面的某些实现方式中，所述获取模块，还用于获取背景图像，所述背景图像为包括所述场景的图像，所述第一位置为所述第一用户的人像在所述背景图像中的位置；所述处理模块，还用于根据所述背景图像和所述第二图像，生成第一合成图像，所述第一合成图像包括所述第一用户在所述背景图像中的所述第一位置的效果图。
结合第二方面，在第二方面的某些实现方式中，所述处理模块，具体用于：根据所述第一图像和所述第一位置，确定所述第一用户身体的反射率和所述第一用户在全局坐标系下身体的表面法向量，所述全局坐标系为根据所述背景图像建立的坐标系。
结合第二方面，在第二方面的某些实现方式中，所述获取模块，还用于获取第三图像和第二位置，所述第三图像包括第二用户的人像，所述第二位置用于指示所述第二用户在所述场景中的位置信息；所述处理模块，还用于根据所述第三图像和所述第二位置，确定所述第二用户的第二光反射信息，所述第二光反射信息用于指示所述第二用户在所述第二位置时身体表面对光的反射情况；所述处理模块，还用于根据所述第三图像、所述光源信息、所述第二光反射信息，确定第四图像，所述第四图像包括根据所述光源信息对所述第二用户在所述场景中的所述第二位置进行重光照的人像；所述处理模块，还用于根据所述背景图像、所述第二图像和所述第四图像，生成第二合成图像，所述第二合成图像包括所述第一用户和所述第二用户在所述背景图像中对应位置的效果图。
结合第二方面，在第二方面的某些实现方式中，所述光源信息包括与所述光源有关的参数或者图像。
结合第二方面，在第二方面的某些实现方式中，所述光源信息随着时间的变化而变化。
结合第二方面，在第二方面的某些实现方式中，所述光源的光照信息包括所述光源的光照强度、色温、入射方向、饱和度中的任意一种或多种。
结合第二方面，在第二方面的某些实现方式中，所述处理模块，具体用于根据所述第一图像、所述光源信息、所述第一光反射信息，通过光线追踪或者神经网络模型渲染得到所述第二图像。
第二方面和第二方面的任意一个可能的实现方式的有益效果和第一方面以及第一方面的任意一个可能的实现方式的有益效果是对应的，对此，不再赘述。
第三方面，本申请实施例提供一种计算机装置，该计算机装置包括处理器，该处理器用于与存储器耦合，读取并执行该存储器中的指令和/或程序代码，以执行第一方面或第一方面的任一种可能的实现方式。
可选地，该处理器可以是通用处理器，可以通过硬件来实现也可以通过软件来实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。
第四方面，本申请实施例提供一种芯片系统，该芯片系统包括逻辑电路，该逻辑电路用于与输入/输出接口耦合，通过该输入/输出接口传输数据，以执行第一方面或第一方面任一种可能的实现方式。
第五方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，当该计算机存储介质在计算机上运行时，使得计算机执行如第一方面或第一方面的任一种可能的实现方式。
作为示例，这些计算机可读存储包括但不限于如下的一个或者多个：只读存储器(read-only memory，ROM)、可编程ROM(programmable ROM，PROM)、可擦除的PROM(erasablePROM，EPROM)、Flash存储器、电EPROM(electrically EPROM，EEPROM)以及硬盘驱动器(harddrive)。
可选地，作为一种实现方式，上述存储介质具体可以是非易失性存储介质。
第六方面，本申请实施例提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码，当该计算机程序代码在计算机上运行时，使得该计算机执行如第一方面或第一方面的任一种可能的实现方式。
附图说明
图1是本申请实施例提供的一种会议场景示意图。
图2是本申请实施例提供的一种视频会议的系统架构图。
图3是本申请实施例提供的一种重光照方法的示例性流程图。
图4是本申请实施例提供的视频模块的示意性架构图。
图5是本申请实施例提供的另一种重光照方法的示例性流程图。
图6是本申请实施例提供的一种重光照图像的效果示意图。
图7是本申请实施例提供的一种重光照处理的示例性流程图。
图8是本申请实施例提供的一种确认用户坐标的示意图。
图9是本申请实施例提供的一种提取表面法向量与反射率的示意图。
图10是本申请实施例提供的一种重光照渲染的示意图。
图11是本申请实施例提供的另一种重光照方法的示例性流程图。
图12是本申请实施例提供的一种可变化光源的示意图。
图13是本申请实施例提供的一种计算机装置的结构示例图。
图14是本申请实施例提供的另一种计算机装置的结构示例图。
图15是本申请实施例提供的一种计算机程序产品的示例图。
具体实施方式
下面将结合附图，对本申请实施例中的技术方案进行描述。显然，所描述的实施例是本申请的一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本申请保护的范围。
在本申请实施例中，“示例的”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
本申请实施例描述的业务场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：包括单独存在A，同时存在A和B，以及单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。
为便于理解本申请实施例，首先对本申请中涉及的一些定义做简单说明。
1.重光照(relighting)：指改变图像中物体的光照情况，包括但不限于改变物体的光线入射方向、色温、饱和度、曝光强度等。
2.人像分割：即人像提取，通过人工智能方法将一张图像的前景与背景分割开，在提取人像时，人为前景。
3.语义分割：按照人类意义下的事物划分将图像各部分进行分割。
4.光线追踪：三维计算机图形学中的一种渲染算法，追踪光线从来源开始照射到物体上，再由物体反射的光线“路径”。相比其它渲染算法，光线追踪算法的计算复杂度高，但可以提供更为真实的光影效果。
5.多人同框模式：将多个人的人像放置到同一张背景图像中。
6.SurfaceNet：一个通过将相机参数与图像以三维(three-dimensional，3D)体素共同编码表示的方式构建的全3D卷积网络。
随着远程视频技术的发展，人们对视频会议的要求也越来越高，希望线上会议能有线下会议一样真实的体验感。例如人们希望能够像线下会议一样方便得合影作为留念，或者视频能够显示出大家在同一场景一起开会的效果，从而产生一种强烈的互动体验。另外，线上会议的场景还时常有签到的需求，主持人会要求大家打开摄像头，然后给大家截图作为到场证明。这些需求都希望多个与会者能够在一张图像中，也就是多人同框，而为了产生线下会议的强互动体验，还希望多人同框的同时，生成的同框图像更贴近实际合影，即希望同框图像更加自然。
虚拟会议室能够将参会者的人像与线下会议的场景进行合成，模拟现实的会议场景，从而满足人们对线上会议真实感的需求。虚拟会议室常采用简单的人脸检测与图像裁剪拼接方案，仅实现将多个与会者置于同一场景的基本功能。但是视频会议中，如图1所示，大部分情况下每个人都是在不同的地方各自参会，例如每个人都在自己的家中参会。由于每个人所处的环境都是不一样的，因此每个人所处地方的光照条件也是不一样的。每个与会者的光照方向、曝光强度、色温及饱和度都有明显差异，这种情况下，直接提取每个与会者的人像然后与背景进行合成光照失常，会有强烈的违和感。
本申请提出了一种重光照方法，通过输入包括用户人像的图片，结合用户在虚拟背景中的位置信息与给定的光源信息，计算出每个人在自己的虚拟位置符合物理规律的光照情况，使合成出的图像更加真实自然。
图2是本申请实施例提供的一种视频会议的系统架构图。
本申请提供的重光照方法可应用的视频会议系统包括会议终端设备200、网络250和远端设备260。其中，会议终端设备200包括音频模块210、控制模块220、视频模块230、网络模块240、显示模块270和摄像机280，可选的，还可以包括扬声器211和/或麦克风212。视频模块230包括人像采集模块231、背景信息获取模块232、光源信息获取模块233、人像分割模块234、重光照模块235和人像与背景融合模块236。
远端设备260通过网络250与会议终端设备200连接，远端设备260可以是笔记本电脑、手机、平板、电视等带有摄像和网络视频功能的设备。图示中的一个远端设备260仅为示例，也可以有多个远端设备260。
网络250可以是因特网(internet)。
会议终端200可以是笔记本电脑、手机、平板、电视等带有摄像和网络视频功能的设备。
音频模块210，可以与扬声器211连接进行音频广播，也可以与麦克风212连接用于与远端设备260对讲。
控制模块220，用于控制视频图像数据和音频数据的传输，将采集的图像数据送至视频模块230进行处理，将经过处理后的图像传送至显示模块270。
视频模块230，用于对采集到的图像数据进行重光照处理，具体流程会在后续详细描述。
网络模块240，用于会议终端设备200与远端设备260进行通信。
显示模块270，用于显示经过处理后的图像，可以是手机、笔记本电脑、平板、电视的显示器。
图3是本申请实施例提供的一种重光照方法的示例性流程图。
310，获取第一图像、第一位置和光源信息。
第一图像包括第一用户的人像，第一位置用于指示第一用户在预设的场景中的位置信息，光源信息包括光源在所述场景中的位置和该光源的光照信息。
应理解，第一图像为不包括背景的人像数据。在一种可能的实现方式中，第一图像是从一张包括背景和人像的图像中提取出的人像。
在一种可能的应用场景中，对于视频会议，有至少一个摄像头实时采集会议时对应的图片，然后将该图片中第一用户的人像提取出来。该图片可以包括多个用户，第一用户为该多个用户中的一个，该图片也可以仅包括第一用户。在一种可能的应用场景中，会议对应的图片可以是预先存储的，视频会议时通过网络获取会议接入终端的包含人像的图片，例如静态的人像图片、卡通图片、三维(three-dimensional，3D)人像模型、3D游戏人物等。可选的，还可以通过识别会议接入端的用户标识号(identity document，ID)，通过预设的候选图库查找得到该ID对应的人像。
应理解，人像可以是人的头部、上半身，或者全身，本申请对此不作限定。人像可以包括分割背景后的人像图片、分割对应的人像轮廓图或者轮廓坐标。
应理解，第一位置用于指示第一用户在预设的场景中的位置信息，例如在二维场景中的二维坐标，在三维场景中的三维坐标，或者可以是第一用户虚拟座位的坐标或者位置编号等。
应理解，本申请中的光源信息可以包括一个或者多个光源的信息。
320，确定第一用户的第一光反射信息。
根据第一图像和第一位置，确定第一用户的第一光反射信息，第一光反射信息用于指示第一用户在第一位置时身体表面对光的反射情况。示例性地，第一光反射信息可以是第一用户的身体的反射率和第一用户在全局坐标系下身体的表面法向量。
330，渲染得到第二图像。
根据第一图像、光源信息、第一光反射信息，渲染得到第二图像，第二图像包括根据光源信息对第一用户在场景中的第一位置进行重光照的人像。
示例性地，可以通过光线追踪或者神经网络模型渲染得到第二图像。
图4是本申请实施例提供的视频模块的示意性架构图。
视频模块230包括人像采集模块231、背景信息获取模块232、光源信息获取模块233、人像分割模块234、重光照模块235和人像与背景融合模块236。
人像采集模块231，用于采集包含人像的图片，可以采集一张，也可以采集多张。
人像分割模块234，用于采用人像分割技术提取图片中的人像。人像可以是用户的头部、上半身，或者全身。
背景信息获取模块232，用于获取进行重光照的背景图片，以及用户在背景图片中的位置信息。
光源信息获取模块233，用于获取光源在场景中的坐标位置和光源的光照信息。光源的光照信息包括光源的光照强度、色温、光源的入射方向、饱和度中的任意一种或多种。
重光照模块235，用于利用光源信息、用户的人像及位置信息，对用户的人像进行重光照处理，生成重光照的人像405。
人像与背景融合模块236，用于将重光照处理后的人像与背景进行融合，生成最终图像。
图5是本申请实施例提供的另一种重光照方法的示例性流程图。本申请实施例中的光源为固定光源。
510，采集人像图片。
通过人像采集模块231，采集包含人像的一张或多张图片。其中，图片可以是二维图片，也可以是三维图片。对于三维图片，可以选取某一个视角，然后转换为二维图片。每个图片中可以包括一个或者多个人像，本申请对此不作限定。
应理解，由于视频是由在时间上连续的多个图片组成的，因此可以按照视频的帧率来采集图片，或者按照预设的时间间隔来采集图片。
在一种可能的应用场景中，对于多方视频会议，每一个远端设备260有一个摄像头采集会议时对应的实时图片。对于本地会议终端设备200，获取本地用户的摄像头拍摄的图片和远端设备260的每一方视频会议的实时图片。其中，每一方会议室可以是一个人，也可以是多人，即一张会议终端采集的图片中有一个或多个与会者。
在另一种可能的应用场景中，对于多方视频会议，每一方会议终端设备对应的图片可以是预先存储的，视频会议时通过网络获取对应每个会议接入终端的包含人像的图片，例如静态的人像图片、卡通图片、三维(three-dimensional，3D)人像模型、3D游戏人物等。可选的，还可以通过识别每一方会议接入端的用户标识号(identity document，ID)，通过预设的候选图库查找得到该ID对应的人像照片。
在另一种可能的应用场景中，对于一个会议室有多人和多会议设备的会议场景，可以仅获取部分会议设备采集的图片。
520，提取人像数据。
采用人像分割技术，提取每个图片中的人像数据。其中，人像可以是人的头部、上半身，或者全身，本申请对此不作限定。人像数据包括分割后的人像图片、分割对应的人像轮廓图或者轮廓坐标。当图片中只有一个人像时可以提取一个人的人像，当图片中包括多个人像时可以提取至少一个人像。
人像分割可以采用深度学习模型，例如PortraitFCN。在一些可能的应用场景中，也可以将本申请实施例视为一个整体的模型，人像分割是其中一个神经网络模块。
530，获取背景和光源信息。
背景信息包括用于最终生成重光照图像的背景图片，以及用户在背景图片中的位置信息，例如用户在会议室虚拟座位的坐标或者位置编号等。
背景图片可以是普通的二维图像，比如课室、会议室、带有办公桌的书房等图片。背景还可以是三维的虚拟背景，例如通过三维建模输出的课室、会议室等带有座位的房间模型。
用户在背景图片中的位置信息，如虚拟座位的坐标，可以采用预设的方式。示例性地，可以按照用户ID排序、按照接入时间排序、按照用户名称首字母排序等方式。可选的，也可以由用户自定义输入位置信息，或者可以在选定虚拟背景后由座位识别算法自动识别出座位并赋予坐标。
本申请实施例中的固定光源可以包括一个光源也可以包括多个光源。光源信息包括光源的坐标位置和光源的光照信息，光源的光照信息包括光源的光照强度、色温、光源的入射方向、饱和度中的任意一种或多种。
光源信息可以从输入的光照参考图像中提取，示例性地的，该参考图像可以是上述背景图片，例如通过神经网络提取出参考光照图片中的光源信息。光源信息也可以采用参数化形式输入，如指定光源的三维坐标、光照强度、色温或者饱和度等信息。
540，重光照处理。
建立全局坐标系，然后利用光源信息、用户的人像及位置信息，对人像进行重光照处理。具体过程后续会详细描述。
550，图像生成。
根据每个人像在背景图片中的位置，将每个位置的背景图片，与重光照处理后的人像进行融合，生成最终图像。图6是本申请实施例提供的一种重光照图像的效果示意图。对于单光源，根据每个人背景图所在位置，生成对应的重光照人像效果。例如，最左边的用户1对应曝光强度为1，色温为4500开尔文(K)，饱和度为70％。用户2对应曝光强度为2，色温为4800K，饱和度为80％。用户3对应曝光强度为3，色温为5000K，饱和度为90％。用户4对应曝光强度为2，色温为4800K，饱和度为80％。用户5对应曝光强度为1，色温为4500K，饱和度为70％。用户1～5对应的光照方向如图6所示。虚拟背景中不同用户的重光照效果，与用户真实地坐在对应的位置所对应光源条件下的效果基本一致。
应理解，视频是由在时间上连续的多个图片组成的，为了能够让用户的动作在显示模块270进行自然的显示，可以按照预设的时间间隔来重复执行图5方法中的全部或者部分步骤。例如保持背景信息和光源信息不变，每隔1毫秒(ms)重新采集人像图像，执行520、540和550步骤。
图7是本申请实施例提供的一种重光照处理的示例性流程图。
710，确认用户坐标。
根据背景图片及光源信息，建立全局坐标系。并根据用户的位置信息，得到用户在全局坐标系下的坐标。
图8是本申请实施例提供的一种确认用户坐标的示意图。图8是包括两个用户的会议室背景图片，以会议室左下角O为原点，建立全局的三维坐标系xyz。其中光源810透过窗户照射在用户1和用户2上。位置A和位置B是两个预先设定的虚拟座位，用户1位于位置A，用户2位于位置B。例如A的坐标为(1,1,0)，B的坐标为(2,1,0)，则用户1的坐标为(1,1,0)，用户2的坐标为(2,1,0)。
应理解，本申请实施例中采用三维坐标系确定用户坐标仅为示例，也可以采用二维坐标系，本申请对此不作限定。
720，计算表面法向量与反射率。
利用输入的人像图片，通过神经网络提取每个用户的表面法向量与反射率信息，此时计算得到的用户的表面法向量都是以用户自己为中心的向量表示。
在一些可能的实现方式中，表面法向量与反射率信息可以利用神经网络结构来提取。图9是本申请实施例提供的一种提取表面法向量与反射率的示意图。输入RGB(redgreen blue)人像图片910，通过几何结构提取网络920提取表面法向量930，再通过反射率提取网络940估算用户身体各处的反射率950。其中，几何结构提取网络920和反射率提取网络940可以是卷积神经网络(convolutional neural networks，CNN)、递归神经网络(recursive neural network，RNN)或者长短期记忆网络(long short-term memory，LSTM)等，本申请不限制几何结构提取网络920和反射率提取网络940的具体类型，几何结构提取网络920和反射率提取网络940也可以在整体上视为一个神经网络模型。
730，计算全局坐标系下的表面法向量。
720步骤计算得到的表面法向量是以人像自己为中心的向量表示。本申请实施例还需要根据用户在全局坐标系中的坐标，将用户的表面法向量平移成全局坐标系下的向量表示。
在一些可能的实现方式中，也可以直接将人像图片和用户在全局坐标系中的坐标输入到神经网络，直接得到用户的身体的反射率和用户在全局坐标系下身体的表面法向量。
740，重光照渲染。
示例性地，可以利用神经网络对人像进行重光照渲染。图10是本申请实施例提供的一种重光照渲染的示意图。首先将光源信息1010和全局坐标系下的表面法向量1020输入到光照网络1030生成光照映射图1040，光照映射图1040可以是漫反射光照映射图和镜面反射光照映射图。将光照映射图1040、反射率950和人像图片910输入到渲染网络1050，可以生成重光照的人像1060。光照网络1030和渲染网络1050可以是CNN、RNN或者LSTM等神经网络。
可选的，还可以利用光源信息1010、全局坐标系下的表面法向量1020、反射率950和人像图片910，采用光线追踪技术实现人像的重光照渲染。
图11是本申请实施例提供的另一种重光照方法的示例性流程图。本申请实施例中的光源为可变化光源。
1110，采集人像图片。
参见图5中的510步骤，本申请不再重复赘述。
1120，提取人像数据。
参见图5中的520步骤，本申请不再重复赘述。
1130，获取背景和光源信息。
背景信息包括用于最终生成重光照图像的背景图片，以及用户在背景图片中的位置信息，例如用户在会议室虚拟座位的坐标或者位置编号等。
背景图片可以是普通的二维图像，比如课室、会议室、带有办公桌的书房等图片。背景还可以是三维的虚拟背景，例如通过三维建模输出的课室、会议室等带有座位的房间模型。
用户在背景图片中的位置信息，如虚拟座位的坐标，可以采用预设的方式。示例性地，可以按照用户ID排序、按照接入时间排序、按照用户名称首字母排序等方式。可选的，也可以由用户自定义输入位置信息，或者可以在选定虚拟背景后由座位识别算法自动识别出座位并赋予坐标。
本申请实施例中的可变化光源可以包括一个光源也可以包括多个光源。图12是本申请实施例提供的一种可变化光源的示意图。在一个有光照的会议室中，可变化光源的位置和/或强度随时间而发生变化，本申请实施例可以模拟变化的光源带来的动态视觉效果。
光源信息包括光源的坐标位置和光源的光照信息，光源的光照信息包括光源的光照强度、色温、光源的入射方向、光照带来的饱和度中的任意一种或多种。光源的坐标位置和光源的光照信息都可以随着时间发生变化。
在可变化光源的一种可能的实现方式中，可以预先设置光源随时间变化的函数。例如，用f(t)表示光源函数，f(t)可以是随时间变化的连续函数，用于模拟太阳东升西落的光源效果。可选的，f(t)还可以是分段函数，t为时间，t可以包括早、中、晚三种时间段。
在可变化光源的另一种可能的实现方式中，可以预先设置光源随时间变化的映射表。时间t是由系统读取到的或者是由用户输入的，根据当前获取到的时间t，通过预先设置的查找表，得到对应的光源信息(光源位置、强度、饱和度等)。
在可变化光源的另一种可能的实现方式中，光源可以通过多张不同的光源图片表示，每张图片表示一个与时间对应的光源信息。例如早、中、晚各有一张光源图片表示对应的光源信息。
1140，重光照处理。
参见图5中540步骤和图7的描述，本申请不再重复赘述。
1150，图像生成。
参见图5中550步骤的描述，本申请不再重复赘述。
由于可变化光源随时间的变化而变化，本申请实施例可以按照预设的时间周期T，或者预先设置的非固定时间点，重复上述1110-1150步骤，更新重光照计算中对应时刻的光源的位置和/或光照信息，并进行重光照处理。示例性地，该固定周期T可以是30毫秒(ms)表示实时重光照处理，也可以是30分钟(min)等。该预先设置的非固定时间段，例如可以分别取对应时间点t＝1、2、5、8…作为对应更新光源信息进行重光照的时间点。
应理解，视频是由在时间上连续的多个图片组成的，为了能够让用户的动作在显示模块270进行自然的显示，可以按照预设的时间间隔来重复执行图11方法中的全部或者部分步骤。例如每隔1ms重新采集人像图像，每隔固定周期T更新光源信息，执行1110-1150步骤。
以图6为例说明本申请实施例中利用可变化光源进行重光照的效果。时刻一(如为上午10:00)，最左边的用户1，对应曝光强度为1，色温为4500K，饱和度为70％。对于时刻二(如为上午10:10)，光源强度更高了，最左边的用户1的对应曝光强度为2，色温为6000K，饱和度为70％。
应理解，本申请实施例中所描述的对用户在进行视频会议时进行重光照处理仅为示例，本申请实施例提供的方法还可以用于生成用户在某个特定坐标和特定光源下的人像数据，无需与背景图像进行合成，如正午12点用户1在广场中心的图像。
本申请实施例中的背景图片也可以是动态的背景图片，有些动态图片会有光影和光源的变化。示例性地，背景图像中的月亮慢慢升起，那么图像中人的光照分布，尤其是光照的入射方向也应该慢慢随着月亮的高度而变化。与靠近海平面处相比，月亮在升高过程中会越来越亮，因此人身上的亮度也应该慢慢变亮。在一种可能的场景中，动态背景中有光的周期性变化，比如水波周期性反光，背景图营造了人躺在水波上的效果，也可以周期性的利用背景图进行重光照处理，输出周期性的人的光照随水波反光变化的结果。
在一种可能的应用场景中，本申请提供的方法可以应用在未来的虚拟会议室中，入会的用户保证脸部能够捕获到，在三维虚拟会议中，可以每个人预设自己的三维身体模型，二维模型通过神经网络SurfaceNet计算的法向量仿真，然后融合成为三维模型的脸部，这样每个人在三维虚拟世界中都有以自己人脸为特征的身体。这时可以根据所处环境的光源信息来实时调整三维会议室中每个人身上的光照，从而呈现更好更真实的三维虚拟会议效果。
以上描述了根据本申请实施例的重光照方法，下面分别结合图13和图14描述根据本申请实施例的装置和设备。
本申请实施例还提供了一种计算机存储介质，该计算机存储介质中存储有程序指令，所述程序执行时可包括如图3、图5、图7、图9-11对应实施例中的重光照方法的部分或全部步骤。
图13为本申请实施例提供的一种计算机装置1300的结构示例图。该计算机装置1300包括获取模块1310和处理模块1320。
其中，获取模块1310，用于获取第一图像、第一位置、背景和光源信息，执行图3方法中的310、图5方法中的510和530，图11方法中的1110和1130。
处理模块1320，用于根据第一图像、光源信息和用户的光反射信息，渲染得到重光照的图像，执行图3的方法、图5的方法、图7的方法、图9-11的方法中的部分或全部步骤。
图14为本申请实施例提供的另一种计算机装置1400的结构示例图。计算机装置1400包括处理器1402、通信接口1403和存储器1404。计算机装置1400的一种示例为芯片。计算机装置1400的另一种示例为计算设备。
上述本申请实施例揭示的方法可以应用于处理器1402中，或者由处理器1402实现。处理器1402可以是中央处理器(central processing unit，CPU)，还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(applicationspecific integrated circuit，ASIC)、现场可编程门阵列(field programmable gatearray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。在实现过程中，上述方法的各步骤可以通过处理器1402中的硬件的集成逻辑电路或者软件形式的指令完成。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。
存储器1404可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM，DRRAM)。应注意，本文描述的方法和装置的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
处理器1402、存储器1404和通信接口1403之间可以通过总线通信。存储器1404中存储有可执行代码，处理器1402读取存储器1404中的可执行代码以执行对应的方法。存储器1404中还可以包括操作系统等其他运行进程所需的软件模块。操作系统可以为LINUXTM，UNIXTM，WINDOWSTM等。
例如，存储器1404中的可执行代码用于实现图3、图5、图7、图9-11所示的方法，处理器1402读取存储器1404中的该可执行代码以执行图3、图5、图7、图9-11所示的方法。
在本申请的一些实施例中，所公开的方法可以实施为以机器可读格式被编码在计算机可读存储介质上的或者被编码在其它非瞬时性介质或者制品上的计算机程序指令。图15示意性地示出根据这里展示的至少一些实施例而布置的示例计算机程序产品的概念性局部视图，所述示例计算机程序产品包括用于在计算设备上执行计算机进程的计算机程序。在一个实施例中，示例计算机程序产品1500是使用信号承载介质1501来提供的。所述信号承载介质1501可以包括一个或多个程序指令1502，其当被一个或多个处理器运行时可以提供以上针对图3、图5、图7、图9-11所示的方法中描述的功能或者部分功能。因此，例如，参考图3、图5、图7、图9-11中所示的实施例，其中的一个或多个特征可以由与信号承载介质1501相关联的一个或多个指令来承担。
在一些示例中，信号承载介质1501可以包含计算机可读介质1503，诸如但不限于，硬盘驱动器、紧密盘(CD)、数字视频光盘(DVD)、数字磁带、存储器、只读存储记忆体(read-only memory，ROM)或随机存储记忆体(random access memory，RAM)等等。在一些实施方式中，信号承载介质1501可以包含计算机可记录介质1504，诸如但不限于，存储器、读/写(R/W)CD、R/W DVD、等等。在一些实施方式中，信号承载介质1501可以包含通信介质1505，诸如但不限于，数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路、等等)。因此，例如，信号承载介质1501可以由无线形式的通信介质1505(例如，遵守IEEE802.11标准或者其它传输协议的无线通信介质)来传达。一个或多个程序指令1502可以是，例如，计算机可执行指令或者逻辑实施指令。在一些示例中，前述的计算设备可以被配置为，响应于通过计算机可读介质1503、计算机可记录介质1504、和/或通信介质1505中的一个或多个传达到计算设备的程序指令1502，提供各种操作、功能、或者动作。应该理解，这里描述的布置仅仅是用于示例的目的。因而，本领域技术人员将理解，其它布置和其它元素(例如，机器、接口、功能、顺序、和功能组等等)能够被取而代之地使用，并且一些元素可以根据所期望的结果而一并省略。另外，所描述的元素中的许多是可以被实现为离散的或者分布式的组件的、或者以任何适当的组合和位置来结合其它组件实施的功能实体。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种重光照方法，其特征在于，包括：
获取第一图像、第一位置和光源信息，所述第一图像包括第一用户的人像，所述第一位置用于指示所述第一用户在预设的场景中的位置信息，所述光源信息包括光源在所述场景中的位置和所述光源的光照信息；
根据所述第一图像和所述第一位置，确定所述第一用户的第一光反射信息，所述第一光反射信息用于指示所述第一用户在所述第一位置时身体表面对光的反射情况；
根据所述第一图像、所述光源信息、所述第一光反射信息，渲染得到第二图像，所述第二图像包括根据所述光源信息对所述第一用户在所述场景中的所述第一位置进行重光照的人像。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取背景图像，所述背景图像为包括所述场景的图像，所述第一位置为所述第一用户的人像在所述背景图像中的位置；
根据所述背景图像和所述第二图像，生成第一合成图像，所述第一合成图像包括所述第一用户在所述背景图像中的所述第一位置的效果图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像和所述第一位置，确定所述第一用户的第一光反射信息，包括：
根据所述第一图像和所述第一位置，确定所述第一用户的身体的反射率和所述第一用户在全局坐标系下身体的表面法向量，所述全局坐标系为根据所述背景图像建立的坐标系。
4.根据权利要求2或3所述的方法，其特征在于，所述方法还包括：
获取第三图像和第二位置，所述第三图像包括第二用户的人像，所述第二位置用于指示所述第二用户在所述场景中的位置信息；
根据所述第三图像和所述第二位置，确定所述第二用户的第二光反射信息，所述第二光反射信息用于指示所述第二用户在所述第二位置时身体表面对光的反射情况；
根据所述第三图像、所述光源信息、所述第二光反射信息，确定第四图像，所述第四图像包括根据所述光源信息对所述第二用户在所述场景中的所述第二位置进行重光照的人像；
根据所述背景图像、所述第二图像和所述第四图像，生成第二合成图像，所述第二合成图像包括所述第一用户和所述第二用户在所述背景图像中对应位置的效果图。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述光源信息包括与所述光源有关的参数或者图像。
6.根据权利要求1至5任一项所述的方法，其特征在于，所述光源信息随着时间的变化而变化。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述光源的光照信息包括所述光源的光照强度、色温、入射方向、饱和度中的任意一种或多种。
8.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述第一图像、所述光源信息、所述第一光反射信息，渲染得到第二图像，包括：
根据所述第一图像、所述光源信息、所述第一光反射信息，通过光线追踪或者神经网络模型渲染得到所述第二图像。
9.一种计算机装置，其特征在于，包括：
获取模块，用于获取第一图像、第一位置和光源信息，所述第一图像包括第一用户的人像，所述第一位置用于指示所述第一用户在预设的场景中的位置信息，所述光源信息包括光源在所述场景中的位置和所述光源的光照信息；
处理模块，用于根据所述第一图像和所述第一位置，确定所述第一用户的第一光反射信息，所述第一光反射信息用于指示所述第一用户在所述第一位置时身体表面对光的反射情况；
所述处理模块，还用于根据所述第一图像、所述光源信息、所述第一光反射信息，渲染得到第二图像，所述第二图像包括根据所述光源信息对所述第一用户在所述场景中的所述第一位置进行重光照的人像。
10.根据权利要求9所述的装置，其特征在于，所述获取模块，还用于获取背景图像，所述背景图像为包括所述场景的图像，所述第一位置为所述第一用户的人像在所述背景图像中的位置；
所述处理模块，还用于根据所述背景图像和所述第二图像，生成第一合成图像，所述第一合成图像包括所述第一用户在所述背景图像中的所述第一位置的效果图。
11.根据权利要求10所述的装置，其特征在于，所述处理模块，具体用于：
根据所述第一图像和所述第一位置，确定所述第一用户身体的反射率和所述第一用户在全局坐标系下身体的表面法向量，所述全局坐标系为根据所述背景图像建立的坐标系。
12.根据权利要求10或11所述的装置，其特征在于，所述获取模块，还用于获取第三图像和第二位置，所述第三图像包括第二用户的人像，所述第二位置用于指示所述第二用户在所述场景中的位置信息；
所述处理模块，还用于根据所述第三图像和所述第二位置，确定所述第二用户的第二光反射信息，所述第二光反射信息用于指示所述第二用户在所述第二位置时身体表面对光的反射情况；
所述处理模块，还用于根据所述第三图像、所述光源信息、所述第二光反射信息，确定第四图像，所述第四图像包括根据所述光源信息对所述第二用户在所述场景中的所述第二位置进行重光照的人像；
所述处理模块，还用于根据所述背景图像、所述第二图像和所述第四图像，生成第二合成图像，所述第二合成图像包括所述第一用户和所述第二用户在所述背景图像中对应位置的效果图。
13.根据权利要求9至12任一项所述的装置，其特征在于，所述光源信息包括与所述光源有关的参数或者图像。
14.根据权利要求9至13任一项所述的装置，其特征在于，所述光源信息随着时间的变化而变化。
15.根据权利要求9至14任一项所述的装置，其特征在于，所述光源的光照信息包括所述光源的光照强度、色温、入射方向、饱和度中的任意一种或多种。
16.根据权利要求9至15任一项所述的装置，其特征在于，所述处理模块，具体用于根据所述第一图像、所述光源信息、所述第一光反射信息，通过光线追踪或者神经网络模型渲染得到所述第二图像。
17.一种计算机设备，其特征在于，包括：处理器，所述处理器用于与存储器耦合，读取并执行所述存储器中的指令和/或程序代码，以执行如权利要求1-8中任一项所述的方法。
18.一种芯片系统，其特征在于，包括：逻辑电路，所述逻辑电路用于与输入/输出接口耦合，通过所述输入/输出接口传输数据，以执行如权利要求1-8中任一项所述的方法。
19.一种计算机可读介质，其特征在于，所述计算机可读介质存储有程序代码，当所述计算机程序代码在计算机上运行时，使得计算机执行如权利要求1-8中任一项所述的方法。
CN202310122687.5A 2023-02-03 2023-02-03 重光照方法和装置 Pending CN118447151A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202310122687.5A CN118447151A (zh) 2023-02-03 2023-02-03 重光照方法和装置
PCT/CN2023/113958 WO2024159735A1 (zh) 2023-02-03 2023-08-21 重光照方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310122687.5A CN118447151A (zh) 2023-02-03 2023-02-03 重光照方法和装置

Publications (1)

Publication Number Publication Date
CN118447151A true CN118447151A (zh) 2024-08-06

Family

ID=92043632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310122687.5A Pending CN118447151A (zh) 2023-02-03 2023-02-03 重光照方法和装置

Country Status (2)

Country Link
CN (1) CN118447151A (zh)
WO (1) WO2024159735A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105447906B (zh) * 2015-11-12 2018-03-13 浙江大学 基于图像和模型计算光照参数进行重光照渲染的方法
JP6812271B2 (ja) * 2017-02-27 2021-01-13 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
CN107506714B (zh) * 2017-08-16 2021-04-02 成都品果科技有限公司 一种人脸图像重光照的方法
EP4254319A4 (en) * 2020-12-28 2024-01-03 Huawei Technologies Co., Ltd. IMAGE PROCESSING METHOD AND DEVICE
GB2605158B (en) * 2021-03-24 2023-05-17 Sony Interactive Entertainment Inc Image rendering method and apparatus
CN113592998A (zh) * 2021-06-29 2021-11-02 北京百度网讯科技有限公司 重光照图像的生成方法、装置及电子设备
CN115131492A (zh) * 2022-04-12 2022-09-30 腾讯科技（深圳）有限公司 目标对象的重光照方法、装置及存储介质和背景替换方法
CN115115688B (zh) * 2022-05-31 2023-05-02 荣耀终端有限公司 一种图像处理方法及电子设备
CN115631291B (zh) * 2022-11-18 2023-03-10 如你所视(北京)科技有限公司 用于增强现实的实时重光照方法和装置、设备和介质

Also Published As

Publication number Publication date
WO2024159735A1 (zh) 2024-08-08

Similar Documents

Publication Publication Date Title
CN107993216B (zh) 一种图像融合方法及其设备、存储介质、终端
US11736756B2 (en) Producing realistic body movement using body images
CN114072850A (zh) 使用深度来减去视频背景
CN113287118A (zh) 用于面部再现的系统和方法
WO2017137947A1 (en) Producing realistic talking face with expression using images text and voice
CN109584358A (zh) 一种三维人脸重建方法及装置、设备和存储介质
KR20230054414A (ko) 실제 이미지와 조합된 가짜 헤어를 갖는 이미지를 합성하기 위한 크로스-도메인 신경망들
KR102148151B1 (ko) 디지털 커뮤니케이션 네트워크에 기반한 지능형 채팅
CN112037320A (zh) 一种图像处理方法、装置、设备以及计算机可读存储介质
US11830129B2 (en) Object relighting using neural networks
KR20240125620A (ko) 실시간 상체 의복 교환
CN113706430A (zh) 一种图像处理方法、装置和用于图像处理的装置
WO2022231582A1 (en) Photo relighting and background replacement based on machine learning models
CN112272296B (zh) 使用深度和虚拟光的视频照亮
CN115731326A (zh) 虚拟角色生成方法及装置、计算机可读介质和电子设备
CN112734657A (zh) 基于人工智能和三维模型的云合影方法、装置及存储介质
US20240020901A1 (en) Method and application for animating computer generated images
CN118447151A (zh) 重光照方法和装置
CN114779948B (zh) 基于面部识别的动画人物即时交互控制方法、装置及设备
KR20250028436A (ko) 뉴럴 래디언스 필드를 이용한 배경 대체
Jikadra et al. Video calling with augmented reality using WebRTC API
CN114979789A (zh) 一种视频展示方法、装置以及可读存储介质
WO2024211884A1 (en) Face relighting of avatars with high-quality scan and mobile capture
US20240233272A9 (en) System and method for auto-generating and sharing customized virtual environments
CN117354481A (zh) 互动方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication