[go: up one dir, main page]

CN111133440A - 基于机器学习的图像处理技术 - Google Patents

基于机器学习的图像处理技术 Download PDF

Info

Publication number
CN111133440A
CN111133440A CN201880064225.XA CN201880064225A CN111133440A CN 111133440 A CN111133440 A CN 111133440A CN 201880064225 A CN201880064225 A CN 201880064225A CN 111133440 A CN111133440 A CN 111133440A
Authority
CN
China
Prior art keywords
input image
attributes
images
image
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880064225.XA
Other languages
English (en)
Inventor
C.徐
M.帕马
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Outward Inc
Original Assignee
Outward Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Outward Inc filed Critical Outward Inc
Publication of CN111133440A publication Critical patent/CN111133440A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本文中公开了基于机器学习的图像处理架构和相关联的应用。在一些实施例中，训练机器学习框架以学习低级图像属性，诸如对象/场景类型、几何形状、放置、材料和纹理、相机特性、照明特性、对比度、噪声统计信息等。之后，该机器学习框架可以被采用以在其他图像中检测这样的属性，并在属性级别处理该图像。

Description

基于机器学习的图像处理技术
其他申请的交叉引用
本申请要求2017年8月4日提交的题为DIRECT AND DERIVED 3D DATA FOR MACHINELEARNING IN IMAGE BASED APPLICATIONS的美国临时专利申请No. 62/541,603的优先权，该美国临时专利申请出于所有目的通过引用并入本文中。
背景技术
图像处理技术传统上已经以像素级别（即，对像素值或像素强度）进行操作。然而，对于诸如更改图像的高级视觉外观之类的应用，对低级（low-level）像素数据进行操作是不实际的。对于此类任务，基于特征的方法更为有效。基于特征的技术包括：首先定义具体特征（例如，边缘、斑块、SURF、SIFT等）的集合，并且然后定义关于可以被用来分析和操纵图像内容的那些特征的数学模型。
机器学习技术可以被采用以基于相关的取决于应用的成本函数来学习特征和数学模型参数中的任一个或两个。然而，这样的人工智能技术需要详尽的训练数据集，该数据集跨越针对特定应用的所有特征的空间，并利用相关地面真实数据被标记。对于大多数有用的应用，通常禁止收集详尽的训练数据集。另外，很难用更复杂或更精细的地面真实数据来标记图像。因此，直到最近，机器学习技术的使用尚被限于基本的对象识别或分类应用。
因此，需要并在本文中公开了一种克服这种局限并有效利用机器学习技术的图像处理架构，以及由此产生的新颖的基于图像的应用。
附图说明
在以下的详细描述和附图中公开了本发明的各种实施例。
图1是用于学习与数据集相关联的属性的基于机器学习的图像处理框架的实施例的高级框图。
图2图示了来自目录的展出图像（curated image）的示例。
图3是用于将属于集合的图像缩小或分解为关键属性的图像处理框架的实施例的高级框图。
图4是用于自动生成展出图像的图像处理框架的实施例的高级框图。
图5是基于机器学习的图像处理架构的实施例的高级框图。
图6A是用于重新风格化（restyle）的图像处理应用的实施例的高级框图。
图6B图示了使用重新风格化应用的示例。
图7A是图像处理应用的实施例的高级框图，该图像处理应用用于以不同的对象替代图像中的对象。
图7B图示了使用对象替代应用的示例。
图8A是用于对图像进行降噪的图像处理应用的实施例的高级框图。
图8B图示了使用降噪应用的示例。
具体实施方式
本发明可以以众多方式实现，这些方式包括作为过程；装置；系统；物质的组成；被体现在计算机可读存储介质上的计算机程序产品；和/或处理器，诸如被配置成执行存储在耦合到处理器的存储器上的指令和/或由耦合到处理器的存储器提供的指令的处理器。在本说明书中，可以将这些实现方式或本发明可以采取的任何其它形式称为技术。一般而言，可以在本发明的范围内更改所公开过程的步骤的次序。除非另行说明，否则可以将被描述为被配置成实行任务的诸如处理器或存储器之类的组件实现为暂时地被配置成在给定时间实行任务的通用组件或被制造成实行该任务的特定组件。如本文中使用的，术语“处理器”指代被配置成处理数据（诸如计算机程序指令）的一个或多个设备、电路和/或处理核心。
下面连同图示了本发明的原理的附图一起提供对本发明的一个或多个实施例的详细描述。结合这样的实施例对本发明进行描述，但是本发明并不限于任何实施例。本发明的范围仅受权利要求限制，并且本发明涵盖众多替换方案、修改和等同物。在以下描述中阐述了众多具体细节，以便提供对本发明的透彻理解。这些细节被提供以用于示例的目的，并且可以根据权利要求在没有这些具体细节中的一些或全部的情况下实践本发明。为了清晰起见，在与本发明相关的技术领域中已知的技术材料并未被详细描述，以免不必要地模糊本发明。
本文中公开了图像处理架构和由此产生的基于图像的应用。通常，图像可以包括场景，该场景包括单个对象、多个对象或丰富（虚拟）环境，并且另外可以包括动画或视频序列的静止图像或帧。此外，图像可以包括（高质量）照片或（照片级（photorealistic））渲染。
包括机器学习技术的人工智能技术是数据驱动的，并且因此需要详尽的训练数据集才能对大多数实际应用有效。因此，将机器学习技术用于基于图像的应用的基础依赖于对综合训练数据集的访问，已经用与所需应用相关的适当元数据来对该综合训练数据集进行标记或加标签。
在该描述中，一般地描述了机器学习技术，并且在各种实施例中，机器学习技术可以包括使用适合于给定应用的一个或多个机器学习架构（诸如深度神经网络和卷积神经网络）的任何组合。此外，术语“标记”、“标签”和“元数据”在本说明书中可互换使用，以指代与诸如图像之类的数据或内容单元相关联并保持一致的性质或属性。
所公开的图像处理架构的基本方面包括：内容生成平台，其用于生成利用相关地面真实数据进行标记的综合图像数据集。这样的数据集可以例如填充有从三维（多边形网格）模型渲染的图像和/或从诸如相机之类的成像设备或诸如3D扫描仪之类的扫描设备捕获的图像。可以在例如离线处理期间生成图像数据集，该图像数据集涵盖以下各项的详尽排列：对象和布置的个体和/或组合、相机视角或姿态、照明类型和位置、材料和纹理等。此外，可以从外部来源获得图像资产。当在生成时间生成图像时，可以生成元数据并将其与图像相关联（例如，用来对图像进行标记或加标签），和/或可以在之后添加或修改元数据，并且另外可以自动生成元数据和/或可以至少部分地手动确定或定义元数据。
图1是用于学习与数据集相关联的属性的基于机器学习的图像处理框架100的实施例的高级框图。收集或生成图像数据集104。在许多情况下，图像数据集104包括高质量（即，高清晰度或分辨率）照片或照片级渲染。可以至少部分地由从（如图1的示例中描绘的）三维模型102渲染的图像、从图像或扫描设备捕获的图像、来源于外部实体的图像或使用各种处理技术的从其他现有图像生成的图像来填充图像数据集104。通常，数据集104包括不同视角或视点、材料和纹理、照明源和位置、相机配置、对象组合和放置等的任何任意数量的排列。
用综合的标记或元数据的集合来给包括数据集104的图像加标签。为规定数据集的图像定义和/或选择的标记的集合可以至少部分取决于应用。标记的集合可以包括：一个或多个分层的高级标记，其提供对包括图像的（一个或多个）对象和/或场景的分类。该标记的集合可以另外包括较低级标记，该较低级标记包括地面真实数据，该地面真实数据与从（一个或多个）底层三维模型渲染图像或其部分或使用诸如相机或扫描仪之类的物理设备捕获图像相关联。这样的标记的示例包括：与包括图像的场景的（三维）几何形状相关联的标记，诸如对象类型和位置、包括场景的对象的材料性质、表面法线矢量、照明类型和方位（例如，直接源以及间接源，诸如有助于大量高阶反弹的反射表面）、相机特性（例如，视角或姿态、取向、旋转、深度信息、焦距、孔径、缩放级别）等。该标记可以包括各种场景对象、光源和对场景进行捕获的（虚拟）相机当中的绝对和/或相对位置或方位、取向和深度信息。可以将不是基于场景的而是基于图像的其他标记（诸如噪声统计信息（例如，渲染时在射线追踪中使用的射线的样本数））与图像相关联。另外，可以通过组合多个其他标记来为各种应用定义更复杂或更精细的标记。示例包括针对相对于光源的具体对象姿态、具有特定光源的特殊材料（例如，皮革）的存在等定义标记。
如所描述的，与生成包括数据集104的图像相关联的地面真实数据的知识有助于详细的以及定制的（例如，专用的）标记与包括数据集104的图像相关联，该数据集包括原本不能被手动识别并与图像相关联的许多类型和类别的标记，诸如照明类型和位置。大量的标记数据集104完全适于基于人工智能的学习。例如，使用一种或多种适当的机器学习技术（诸如深度神经网络和卷积神经网络）的任何组合将产生要进行学习的与数据集104相关联的一个或多个低级性质或属性110的集合。可以从数据集104的标记导出或推断出这样的属性。可以学习的属性的示例包括与以下各项相关联的属性：对象/场景类型和几何形状、材料和纹理、相机特性、照明特性、噪声统计信息、对比度（例如，由规定度量定义的全局和/或局部图像对比度，其可以基于例如最大和最小像素强度值）等。也可以学习作为多个低级属性的（例如，某种未知非线性）组合或函数的其他更无形的（intangible）属性。这种无形的属性的示例包括与风格、美学效果（aesthetic）、噪声特征等相关联的属性。在各种实施例中，可以使用不同的训练模型来学习不同的属性。另外，可以相对于多个不同的训练数据集来训练图像处理框架100。在在大数据集上进行训练以学习各种属性之后，图像处理框架100随后可以被采用以检测其他图像中的相似属性或其组合，对于该其他图像来说这样的属性是未知的（如下面进一步描述的）。
许多应用包括：创建展出图像的集合或选集（portfolio），其共享一个或多个难以量化或定义、但共同地有助于独特的特征风格或视觉外观的属性或性质。例如，包括由高端商人或零售商发布的产品目录的图像通常具有特定的品牌风格或美学效果，并且类似地，动画或视频序列的场景帧通常都被约束成规定的视觉特性。在这样的应用中，捕获的照片或生成的渲染经常由艺术家进行手动后处理（例如，修整和重新制作）以创建具有符合期望的或认可的风格或美学效果或主题的视觉特性的可发布影像。许多有助于风格或美学效果或主题的性质是艺术家操纵的结果，其超过可以从摄影/渲染或全局后处理所实现的任何事物。因此，对图像赋予美学效果的艺术家是传统上尚且难以剔出（isolate）、建模和复制的无形的质量。结果，许多现有的应用仍然需要艺术家对每个图像或帧手动地进行后处理，以获得所需的展出外观。
图2图示了来自家居装饰零售商的目录的展出图像的示例。如描绘的，每个图像都包含不同的产品以及产品放置，但是整个图像集共享相同的高级风格或美学效果，其定义了富有灵感的品牌外观。图2的展出图像得自艺术家的后处理，并且没有利用低级属性或地面真实数据来具体地标记。然而，可以看到，所有图像都属于具有共同特性的集合，而不仅仅是具有相似类型的内容（即，家居装饰）。在给定的示例中，所有图像都共享特定于规定品牌的相同美学效果，并且因此在视觉上看起来是相似的，并且可识别为属于同一集合。在一些实施例中，可以通过共同地定义美学效果的一个或多个较低级属性的非线性函数来对导致共享的相似外观的图像集合的高级属性进行建模（如接下来进一步描述的）。
图3是用于将属于集合的图像缩小或分解为关键属性的图像处理框架300的实施例的高级框图，该关键属性中的一个或多个可以共同定义该集合的高级美学属性。框架300对属于集合的图像302进行操作。图像302可以包括照片或渲染。在一些实施例中，图像302的集合包括图像（例如诸如图2的图像）的展出集合或目录，其由艺术家的后处理或操纵产生，以实现规定风格或美学效果或主题。在一些情况下，图像302没有利用例如地面真实数据进行标记或加标签。然而，图像302属于同一集合，并且因此共享一个或多个公共性质或属性，诸如内容类型以及视觉特性和外观。图像302的集合由基于机器学习的框架304（例如，其可以包括图1的框架100）处理，以检测或识别与图像302的集合相关联的一个或多个高级和低级属性306的集合。
在一些情况下，在大的标记图像数据集上训练基于机器学习的框架304，该图像数据集包括可能出现在规定场景类型中的受约束的可能对象集合中的对象的可能排列的大量子集（即便不是全部），以便学习相关联的属性及其组合，并且随后可以将该相关联的属性及其组合用来检测或识别其他图像中的此类属性，该其他图像诸如包括来自相同的受约束的可能对象集合中的对象的展出或经艺术家处理的图像302的对应集合。可以针对图像302的集合进行检测的属性306的示例包括：对象/场景类型和几何形状、材料和纹理、相机特性、照明特性、噪声统计信息、对比度等。在一些实施例中，通过多个识别出的低级属性306的（例如，未知的非线性）函数或组合来定义导致具有共享外观的图像302的高级美学属性。所描述的基于机器学习的框架304便于识别属于集合的图像302的共享性质，以及识别和剔出包括艺术家赋予的特性的高级共享风格或美学属性。针对图像302的集合识别的属性306可以被用来对还没有这样的标记或标签的图像302自动地进行标记或加标签。
如前所述，许多应用要求艺术家对图像进行后处理，以赋予规定的风格或美学效果。因此，在这样的应用中，适于公开的展出影像通常限于符合所需风格或美学效果的少量可行拍摄（shot）。自动生成更广泛的展出图像的集合将是有用的，例如所述展出图像的集合具有规定的风格或美学效果，而无需艺术家经由后处理来赋予所述风格或美学效果。图4是用于在没有艺术家输入的情况下自动生成展出图像的图像处理框架400的实施例的高级框图。如描绘的，例如从诸如使用图3的框架300的艺术家创建的展出图像的小集合中识别出的属性402的集合被应用于具有可配置性质（几何形状、照明、材料、相机姿态等）来渲染具有属性402的任何数量的图像406的可用三维对象模型404。渲染图像406自动具有由属性402定义的展出视觉外观，而不需要艺术家输入或后处理。
在一些实施例中，存在针对大多数（即便不是全部）个体对象的三维（多边形网格）模型，该对象包括可以被包含在规定场景类型中的受约束的可能对象集合，这些三维模型可以被采用以例如使用图3的框架300在没有艺术家输入的情况下自动渲染该场景类型的任何数量的附加展出拍摄，但是具有与艺术家创建的从中识别出美学效果或风格属性的基本影像的相对较小的集合相同的美学效果或风格。在某些情况下，可以生成用于规定场景类型的展出图像的超级目录，其中只有拍摄的小的子集是艺术家创建的，而其余的则是使用框架400自动渲染的。在某些情况下，超级目录包括以下图像，该图像包括与所有展现由属性402定义的规定风格或美学效果的特定场景空间相关联的对象、材料、照明、相机姿态、放置等的许多（即便不是全部）可能的排列和组合，而不需要艺术家后处理来赋予该风格或美学效果。即，使用框架400的三维对象模型，使用图3的框架300剔出的美学属性可以被用来渲染具有该相同美学效果（即，定义该美学效果的相同低级属性306/402）的附加的新图像。使用框架400生成的图像406可以利用适当的元数据或地面真实数据来自动地进行标记或加标签，因为这样的图像是根据明确定义的三维模型和已知属性而渲染的。此外，所生成的标记图像406的大集合可以被采用以进一步训练和构建相关联的基于机器学习的框架（例如，图1的框架100）。
图5是基于机器学习的图像处理架构500的实施例的高级框图。如描绘的，图像处理架构500包括已经相对于图1-4单独详细描述的许多组件。机器学习框架501（其可以包括图1的框架100）是图像处理架构500的基础，并且在大型数据集上进行训练（例如，该大型数据集可以至少部分地从可用的三维模型生成）以学习与该数据集相关联的属性。然后，机器学习框架501可以与其他图像一起使用，以检测或识别这样的属性或其组合，其对于用机器学习框架501进行检测之前的图像可能不是已知的。
在一个示例中，机器学习框架501识别以下属性，这些属性共同定义了展出目录图像502的小集合中的美学效果504，这些展出目录图像已被艺术家后处理以具有美学效果。在某些情况下，可以将剔出的美学效果（即，对应的属性）504应用于可用的三维模型，以生成附加的展出目录图像的超级目录506，该附加的展出目录图像都具有该美学效果，而无需像原始集合502那样进行艺术家后处理。超级目录506可以被用来进一步训练和构建机器学习框架501。因此，可以使用机器学习框架501来识别美学效果或风格或主题，并且然后将该美学效果或风格或主题应用于可用的三维模型以生成可以在其上进一步训练机器学习框架501的附加数据集。
机器学习框架501通常便于各种图像处理应用508来修改输入图像510或其部分以生成具有期望修改的对应的输出图像512。与图像相关联的高级属性和低级属性两者都是可检测的，并且高级属性可分离为构成的低级属性。因此，可以在各种应用中对不同的属性或属性的组合做出独立的决定。一些示例图像处理应用508包括重新风格化（例如，改变美学效果）、对象替换、重新照明（例如，改变光源类型和/或位置）等，接下来进一步描述其中的一些。
图6A是用于重新风格化的图像处理应用600的实施例的高级框图，并且图6B图示了使用重新风格化应用600的示例。如描绘的，机器学习框架601（例如，图1的框架100或图5的框架501）被采用以识别和剔出图像目录602的目录美学效果604和输入图像606的图像美学效果608，以便可以从图像606和被应用或添加到图像606的目录美学效果604中去除或减去图像美学效果608，以生成输入图像606的输出目录版本610，该输出目录版本610具有与目录602相同的美学效果604。在该示例中，可以在输入图像606中检测并剔出包括目录美学效果604的属性的类型，以确定图像美学效果608。在图6B中图示出重新风格化，其中输入图像606通过重新风格化应用600进行了重新风格化，以生成符合规定的目录美学效果604的目录图像610。在该示例中，改变美学效果包括：以不同方式修改图像的不同部分处的照明或亮度。
图7A是用于利用不同的对象替代图像中的对象的图像处理应用700的实施例的高级框图，并且图7B图示了使用对象替换应用700的示例。在图7A中，机器学习框架（例如，图1的框架100或图5的框架501）被采用以识别输入图像702的与规定对象相关联的属性704-708，使得可以用另一个对象710来替代该对象。新对象710可以被配置成具有某个相同的识别出的属性704-708，以使得它可以代替被替代的对象而被一致地包括在图像710中。在图7B中图示了对象替换，在图7B中输入图像702中的沙发对象被输出图像710中的不同沙发对象替代。
图像处理应用508可以进一步包括更复杂的企业应用，诸如将来自具有不同美学属性的数据集的对象聚合到同一场景中，并进行风格化以具有规定的美学效果。例如，来自一个或多个品牌的家居装饰对象可以被包括在房间的图像中，但是可以全部被风格化以具有规定品牌的美学效果。在这种情况下，所得图像将具有规定品牌的目录图像的展出外观或美学效果。
通常，图像处理应用508依赖于使用机器学习框架501的属性检测。即，使用机器学习框架501来检测被用来生成图像510的实际属性，并且对该实际属性进行修改以生成具有经修改的属性的输出图像512。因此，如本文所述的基于属性检测、操纵和/或修改的图像修改与以像素级别对像素值进行操作的常规图像编辑应用显著不同，并且不具有关于实际图像内容（例如，对象）和与捕获或渲染内容的物理特性相关联的底层属性的信息，该内容诸如几何形状、相机、照明、材料、纹理、放置等，所公开的技术基于该内容。所公开的属性检测和操纵技术对于照片级应用尤其有用，这是因为常规像素操纵没有受到足够的约束来生成看起来真实且一致的图像。
基于机器学习框架501的另一个有用的应用508包括图像去噪。可以将一个或多个学习的空间滤波器应用于（例如，在射线追踪期间使用少量射线样本生成的）有噪声的输入图像510的各个部分以去除噪声，以使得输出图像512具有与使用大量射线样本所能达到的效果相当的噪声轮廓或质量。即，使用由机器学习框架501识别的一组滤波器来对稀疏采样图像的各个部分进行滤波，以生成等同于用大得多数量的样本（例如，完全收敛所需的样本数量）进行射线追踪的输出图像。作为一个示例，通过利用由机器学习框架501识别的适当滤波器对十个样本射线追踪的图像进行滤波，可以将十个样本射线追踪的图像快速变换为对应的一千个样本射线追踪图像的等同图像。因此，仅通过利用少量样本进行射线追踪，并且然后使用预测由较大量的样本产生的像素值的滤波器，就可以实质上减少图像渲染时间。该技术有效地消除了对利用大量样本进行射线追踪的需要，同时仍然产生具有利用大量样本进行射线追踪所提供的质量或噪声轮廓的图像。
在一些实施例中，用于这样的去噪应用的训练数据集包括：以不同采样间隔的图像的射线追踪快照，其中，除了利用其他图像属性进行标记外，每个快照还利用指定该快照的样本数量的属性进行标记。在这样的数据集上训练机器学习框架501，以针对不同数量的样本学习空间滤波器或其参数。例如，可以学习滤波器以便针对x和y的许多不同值和组合从低数量(x)的样本变换成高数量(y)的样本，其中x << y。然而，噪声特征不仅基于样本的数量，而且还基于（例如，在射线追踪期间）影响噪声的一个或多个其他图像属性，诸如材料和照明。因此，可以针对导致不同噪声特征的属性组合来学习不同的滤波器参数，并且识别用于输入图像的滤波器的机器学习框架501可以识别用于图像的不同部分的不同滤波器或参数。例如，对于具有属性组合“具有亮光的皮革上的十个样本”的图像的一部分，与具有属性组合“在暗光下的织物上的十个样本”的图像的一部分相比，可以识别滤波器参数的不同集合。
图8A是用于对图像进行降噪的图像处理应用800的实施例的高级框图，并且图8B图示了使用降噪应用800的示例。在图8A中，使用由基于机器学习的框架（例如，图1的框架100或图5的框架501）识别的一个或多个滤波器804来处理违反规定的噪声阈值的有噪声的（例如，低样本计数）输入图像802，以生成满足规定的噪声阈值的去噪输出图像806。因此，使用经学习的滤波器804来清理使用少量射线样本渲染的有噪声的图像802或对该图像802进行去噪806，从而消除了实际上利用大量样本进行射线追踪的需要。在图8B中图示了去噪，其中应用800处理了稀疏采样的输入图像802，以生成高质量输出图像806。
虽然已出于理解清晰的目的对前述实施例进行了比较详细的描述，但是本发明并不局限于所提供的细节。存在实现本发明的许多替换方式。所公开的实施例是说明性的而非限制性的。

Claims (60)

1.一种方法，包括：
使用机器学习框架来检测输入图像的一个或多个属性的集合；以及
输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像。
2.根据权利要求1所述的方法，其中，在由所述机器学习框架进行检测之前，对于所述输入图像，检测到的属性的集合是未知的。
3.根据权利要求1所述的方法，其中，检测到的属性的集合与风格或美学效果相关联。
4.根据权利要求3所述的方法，其中，所述输出图像包括所述输入图像的重新风格化的版本。
5.根据权利要求1所述的方法，其中，检测到的属性的集合与第一风格相关联，并且所述输出图像的经修改的属性的集合与第二风格相关联。
6.根据权利要求5所述的方法，其中，修改所述输入图像包括将所述第一风格修改为所述第二风格。
7.根据权利要求1所述的方法，其中，检测到的属性的集合与所述输入图像中的对象相关联。
8.根据权利要求7所述的方法，其中，所述输入图像中的对象由所述输出图像中的不同对象替代。
9.根据权利要求1所述的方法，其中，检测到的属性的集合与照明相关联。
10.根据权利要求9所述的方法，其中，所述输出图像包括所述输入图像的重新照明的版本。
11.根据权利要求1所述的方法，其中，检测到的属性的集合与噪声相关联。
12.根据权利要求11所述的方法，其中，所述输出图像包括所述输入图像的去噪版本。
13.根据权利要求1所述的方法，其进一步包括利用经修改的属性的集合对所述输出图像进行标记或加标签。
14.根据权利要求1所述的方法，其中，检测到的属性的集合包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、噪声统计信息和对比度相关联的一个或多个属性。
15.根据权利要求1所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括与所述输入图像所属的规定场景类型相关联的受约束的对象集合的排列。
16.根据权利要求1所述的方法，其中，在包括从三维对象模型渲染的标记图像的数据集上训练所述机器学习框架。
17.根据权利要求1所述的方法，其中，所述输入图像和所述输出图像均包括照片或照片级渲染。
18.根据权利要求1所述的方法，其中，所述输入图像和所述输出图像均包括动画或视频序列的帧。
19.一种系统，包括：
处理器，其被配置成：
使用机器学习框架来检测输入图像的一个或多个属性的集合；以及
输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像；以及
存储器，其耦合到所述处理器并被配置成向所述处理器提供指令。
20.一种计算机程序产品，其体现在非暂时性计算机可读存储介质中，并且包括计算机指令以用于：
使用机器学习框架来检测输入图像的一个或多个属性的集合；以及
输出包括所述输入图像的经修改版本的输出图像，其中，通过修改检测到的属性的集合的至少一个子集来修改所述输入图像。
21.一种方法，包括：
使用机器学习框架来检测与具有共享美学效果的图像的第一集合相关联的美学属性；以及
通过将检测到的美学属性应用于被用来渲染图像的第二集合的三维对象模型，生成具有相同的共享美学效果的图像的第二集合。
22.根据权利要求21所述的方法，其中，所述图像的第一集合的共享美学效果来自后处理。
23.根据权利要求21所述的方法，其中，由艺术家将所述共享美学效果赋予所述图像的第一集合。
24.根据权利要求21所述的方法，其中，在没有艺术家输入或后处理的情况下，生成具有相同的共享美学效果的所述图像的第二集合。
25.根据权利要求21所述的方法，其中，所述美学属性包括一个或多个低级属性的组合。
26.根据权利要求25所述的方法，其中，所述美学属性可分离为其构成的低级属性。
27.根据权利要求25所述的方法，其中，所述低级属性包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、噪声统计信息和对比度相关联的一个或多个属性。
28.根据权利要求21所述的方法，其中，所述共享美学效果与规定品牌相关联。
29.根据权利要求21所述的方法，其中，所述共享美学效果与规定场景类型相关联。
30.根据权利要求21所述的方法，其中，所述第二集合包括比所述第一集合更多的图像。
31.根据权利要求21所述的方法，其中，所述第一集合和所述第二集合共同包括具有共享美学效果的图像的超级目录，其中仅所述第一集合是艺术家后处理的。
32.根据权利要求21所述的方法，其中，所述第一集合和所述第二集合共同包括具有共享美学效果的图像的超级目录，所述共享美学效果被用来进一步训练和构建所述机器学习框架。
33.根据权利要求21所述的方法，进一步包括利用检测到的美学属性对所述第一集合的图像进行标记或加标签。
34.根据权利要求21所述的方法，进一步包括利用所述美学属性对所述第二集合的图像进行标记或加标签。
35.根据权利要求21所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括与所述图像的第一集合和所述图像的第二集合所属的规定场景类型相关联的受约束的对象集合的排列。
36.根据权利要求21所述的方法，其中，在包括从三维对象模型渲染的标记图像的数据集上训练所述机器学习框架。
37.根据权利要求21所述的方法，其中，包括所述第一集合和所述第二集合的图像包括照片或照片级渲染。
38.根据权利要求21所述的方法，其中，包括所述第一集合和所述第二集合的图像包括动画或视频序列的帧。
39.一种系统，包括：
处理器，其被配置成：
使用机器学习框架来检测与具有共享美学效果的图像的第一集合相关联的美学属性；以及
通过将检测到的美学属性应用于被用来渲染所述图像的第二集合的三维对象模型，生成具有相同的共享美学效果的图像的第二集合；以及
存储器，其耦合到所述处理器并被配置成向所述处理器提供指令。
40.一种计算机程序产品，其体现在非暂时性计算机可读存储介质中，并且包括计算机指令以用于：
使用机器学习框架来检测与具有共享美学效果的图像的第一集合相关联的美学属性；以及
通过将检测到的美学属性应用于被用来渲染所述图像的第二集合的三维对象模型，生成具有相同共享美学效果的图像的第二集合。
41.一种方法，包括：
使用机器学习框架来识别一个或多个滤波器的集合，以用于从稀疏射线追踪的输入图像去除噪声；以及
输出包括通过利用识别出的滤波器的集合对所述输入图像进行滤波而得到的所述输入图像的经滤波版本的输出图像，其中，所述输出图像的质量等同于比所述稀疏射线追踪的输入图像具有更多射线样本的射线追踪。
42.根据权利要求41所述的方法，其中，所述输出图像是所述输入图像的去噪版本。
43.根据权利要求41所述的方法，其中，所述稀疏射线追踪的输入图像违反噪声阈值，并且所述输出图像满足所述噪声阈值。
44.根据权利要求41所述的方法，其中，所述稀疏射线追踪的输入图像是利用少量射线样本进行射线追踪的。
45.根据权利要求41所述的方法，其中，所述输出图像的质量等同于利用大量射线样本的射线追踪。
46.根据权利要求41所述的方法，其中，所述输出图像的质量等同于利用完全收敛所需的射线样本的数量的射线追踪。
47.根据权利要求41所述的方法，其中，所述滤波器的集合预测利用更多射线样本的射线追踪所产生的像素值。
48.根据权利要求41所述的方法，其中，所述滤波器包括空间滤波器。
49.根据权利要求41所述的方法，其中，识别一个或多个滤波器的集合包括识别一个或多个滤波器参数的集合。
50.根据权利要求41所述的方法，其中，识别一个或多个滤波器的集合包括针对所述输入图像的不同部分来识别不同的滤波器。
51.根据权利要求41所述的方法，其中，所述滤波器的集合中的规定的滤波器与对应的噪声特征相关联。
52.根据权利要求51所述的方法，其中，所述噪声特征是基于一个或多个属性。
53.根据权利要求52所述的方法，其中，所述属性包括与对象/场景类型、几何形状、放置、材料、纹理、相机特性、照明特性、样本数量和对比度相关联的一个或多个属性。
54.根据权利要求41所述的方法，其中，训练所述机器学习框架以学习噪声特征和对应的滤波器。
55.根据权利要求41所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括以不同采样间隔的射线追踪快照。
56.根据权利要求41所述的方法，其中，在图像数据集上训练所述机器学习框架，所述图像数据集包括与所述输入图像所属的规定场景类型相关联的受约束的对象集合的排列。
57.根据权利要求41所述的方法，其中，所述输出图像包括照片级渲染。
58.根据权利要求41所述的方法，其中，所述输出图像包括动画或视频序列的帧。
59.一种系统，包括：
处理器，其被配置成：
使用机器学习框架来识别一个或多个滤波器的集合，以用于从稀疏射线追踪的输入图像去除噪声；以及
输出包括通过利用识别出的滤波器的集合对所述输入图像进行滤波而得到的输入图像的经滤波版本的输出图像，其中，所述输出图像的质量等同于比所述稀疏射线追踪的输入图像具有更多射线样本的射线追踪；以及
存储器，其耦合到所述处理器并被配置成向所述处理器提供指令。
60.一种计算机程序产品，其体现在非暂时性计算机可读存储介质中，并且包括计算机指令以用于：
使用机器学习框架来识别一个或多个滤波器的集合，以用于从稀疏射线追踪的输入图像去除噪声；以及
输出包括通过利用识别出的滤波器的集合对所述输入图像进行滤波而得到的所述输入图像的经滤波版本的输出图像，其中，所述输出图像的质量等同于比所述稀疏射线追踪的输入图像具有更多射线样本的射线追踪。
CN201880064225.XA 2017-08-04 2018-08-06 基于机器学习的图像处理技术 Pending CN111133440A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762541603P 2017-08-04 2017-08-04
US62/541603 2017-08-04
PCT/US2018/045423 WO2019028472A1 (en) 2017-08-04 2018-08-06 IMAGE PROCESSING TECHNIQUES BASED ON MACHINE LEARNING

Publications (1)

Publication Number Publication Date
CN111133440A true CN111133440A (zh) 2020-05-08

Family

ID=65229741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880064225.XA Pending CN111133440A (zh) 2017-08-04 2018-08-06 基于机器学习的图像处理技术

Country Status (4)

Country Link
US (12) US10762605B2 (zh)
EP (1) EP3662413A4 (zh)
CN (1) CN111133440A (zh)
WO (1) WO2019028472A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114846521A (zh) * 2020-05-20 2022-08-02 谷歌有限责任公司 从各种肖像学习照明

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018141429A1 (en) * 2017-02-03 2018-08-09 Siemens Aktiengesellschaft A method and apparatus for detecting objects of interest in images
CN111133440A (zh) * 2017-08-04 2020-05-08 奥沃德公司 基于机器学习的图像处理技术
US10909423B2 (en) * 2018-06-07 2021-02-02 Microsoft Technology Licensing, Llc Generating training data for machine learning classifier
US10957099B2 (en) * 2018-11-16 2021-03-23 Honda Motor Co., Ltd. System and method for display of visual representations of vehicle associated information based on three dimensional model
US10922790B2 (en) 2018-12-21 2021-02-16 Intel Corporation Apparatus and method for efficient distributed denoising of a graphics frame
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
GB2584986B (en) * 2019-03-19 2023-07-26 Sony Interactive Entertainment Inc System and camera device for capturing images
US11404025B2 (en) 2019-04-10 2022-08-02 Mediatek Inc. Video processing system for performing artificial intelligence assisted picture quality enhancement and associated video processing method
US11361505B2 (en) * 2019-06-06 2022-06-14 Qualcomm Technologies, Inc. Model retrieval for objects in images using field descriptors
US11170559B2 (en) * 2019-08-02 2021-11-09 Microsoft Technology Licensing, Llc Sub-pixel data simulation system
US11263482B2 (en) * 2019-08-09 2022-03-01 Florida Power & Light Company AI image recognition training tool sets
US11385526B2 (en) 2019-11-15 2022-07-12 Samsung Electronics Co., Ltd. Method of processing image based on artificial intelligence and image processing device performing the same
CN114746895A (zh) * 2019-12-04 2022-07-12 华为技术有限公司 用于图像去噪的噪声重构
WO2021112517A1 (en) 2019-12-06 2021-06-10 Samsung Electronics Co., Ltd. Method and electronic device for description parameter based modification of images
KR102695188B1 (ko) * 2020-02-06 2024-08-16 삼성전자주식회사 필터를 제공하는 방법 및 이를 지원하는 전자 장치
US20230128933A1 (en) * 2020-03-05 2023-04-27 Schlumberger Technology Corporation Raster image digitization using machine learning techniques
DE102020111563A1 (de) * 2020-04-28 2021-10-28 Carl Zeiss Meditec Ag Verfahren zum Gewinnen annotierter Daten mithilfe von Operationsmikroskopiesystemen
US20210334586A1 (en) * 2020-04-28 2021-10-28 Mediatek Inc. Edge learning display device and method
WO2021231888A1 (en) * 2020-05-14 2021-11-18 Cignal Llc Creating imagery for al model training in security screening
CN111968048B (zh) * 2020-07-30 2024-03-26 国网智能科技股份有限公司 电力巡检少样本图像数据增强方法及系统
US11978155B2 (en) * 2020-09-25 2024-05-07 Intel Corporation Inferred shading mechanism
US11778305B2 (en) 2021-06-18 2023-10-03 Qualcomm Incorporated Composite image signal processor
US12131447B2 (en) * 2021-09-27 2024-10-29 Baidu Usa Llc System and process for repainting of planar objects in video
US20230124190A1 (en) 2021-10-14 2023-04-20 Outward, Inc. Interactive image generation
US20240020954A1 (en) * 2022-07-14 2024-01-18 Adobe Inc. Object-agnostic image representation
US20240393255A1 (en) * 2023-05-24 2024-11-28 Parikh Holdings LLC Gemstone analysis device, system, and method using neural networks

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120354A1 (en) * 2008-08-28 2013-05-16 Peter F. Falco, Jr. Using Two Dimensional Image Adjustment Operations on Three Dimensional Objects
US20130156297A1 (en) * 2011-12-15 2013-06-20 Microsoft Corporation Learning Image Processing Tasks from Scene Reconstructions
US20140104450A1 (en) * 2012-10-12 2014-04-17 Nvidia Corporation System and method for optimizing image quality in a digital camera
US20150338722A1 (en) * 2014-05-20 2015-11-26 Canon Kabushiki Kaisha System and method for re-configuring a lighting arrangement
US20160171753A1 (en) * 2014-12-15 2016-06-16 Samsung Electronics Co., Ltd. 3d rendering method and apparatus
US20170103512A1 (en) * 2015-10-13 2017-04-13 Siemens Healthcare Gmbh Learning-based framework for personalized image quality evaluation and optimization
US20180114096A1 (en) * 2015-04-30 2018-04-26 The Regents Of The University Of California Machine learning to process monte carlo rendered images
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications

Family Cites Families (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5526446A (en) 1991-09-24 1996-06-11 Massachusetts Institute Of Technology Noise reduction system
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
JP3568181B2 (ja) * 1997-06-23 2004-09-22 株式会社東芝 ニューラルネット分析装置、記憶媒体
US7573508B1 (en) 1999-02-19 2009-08-11 Sony Corporation Image signal processing apparatus and method for performing an adaptation process on an image signal
US6944319B1 (en) * 1999-09-13 2005-09-13 Microsoft Corporation Pose-invariant face recognition system and process
US7127087B2 (en) * 2000-03-27 2006-10-24 Microsoft Corporation Pose-invariant face recognition system and process
US6816621B1 (en) * 2000-04-27 2004-11-09 Xerox Corporation Method for generating shift-invariant filters
US6904179B2 (en) * 2000-04-27 2005-06-07 Xerox Corporation Method for minimal-logic non-linear filter implementation
JP4154847B2 (ja) * 2000-09-26 2008-09-24 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US7062108B2 (en) * 2001-06-12 2006-06-13 Eastman Kodak Company Method for estimating the appearance of noise in images
US6666824B2 (en) 2002-04-01 2003-12-23 Koninklijke Philips Electronics N.V. System and method of dynamic automatic sensing of available dynamic range
US7362365B1 (en) * 2002-06-26 2008-04-22 Pixim, Inc. Digital image capture having an ultra-high dynamic range
US7099821B2 (en) * 2003-09-12 2006-08-29 Softmax, Inc. Separation of target acoustic signals in a multi-transducer arrangement
US20050083556A1 (en) * 2003-10-20 2005-04-21 Carlson Gerard J. Image cropping based on imaged cropping markers
US8484000B2 (en) * 2004-09-02 2013-07-09 Vialogy Llc Detecting events of interest using quantum resonance interferometry
JP4999570B2 (ja) * 2007-06-18 2012-08-15 キヤノン株式会社 表情認識装置及び方法、並びに撮像装置
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
US8452116B1 (en) 2008-09-19 2013-05-28 Adobe Systems Incorporated Estimating sensor sensitivity
KR101511564B1 (ko) * 2008-11-06 2015-04-13 삼성테크윈 주식회사 웨이블릿 변환을 이용한 영상의 움직임 보상 노이즈 제거 장치 및 방법
JP5249111B2 (ja) * 2009-03-31 2013-07-31 オリンパス株式会社 画像処理装置、方法、プログラム、及び撮像システム
JP5446800B2 (ja) * 2009-12-04 2014-03-19 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9530191B2 (en) * 2010-09-15 2016-12-27 Sharp Laboratories Of America, Inc. Methods and systems for detection and estimation of mosquito noise
US9363533B2 (en) 2010-09-29 2016-06-07 Electronics And Telecommunications Research Institute Method and apparatus for video-encoding/decoding using filter information prediction
US9930366B2 (en) 2011-01-28 2018-03-27 Qualcomm Incorporated Pixel level adaptive intra-smoothing
US8705828B2 (en) * 2011-08-31 2014-04-22 Carestream Health, Inc. Methods and apparatus for super resolution scanning for CBCT system and cone-beam image reconstruction
JP5839907B2 (ja) * 2011-09-15 2016-01-06 キヤノン株式会社 画像処理装置および画像処理方法
US8712184B1 (en) * 2011-12-05 2014-04-29 Hermes Microvision, Inc. Method and system for filtering noises in an image scanned by charged particles
US9324190B2 (en) * 2012-02-24 2016-04-26 Matterport, Inc. Capturing and aligning three-dimensional scenes
US9299168B2 (en) * 2012-03-06 2016-03-29 Apple Inc. Context aware user interface for image editing
EP2870752A1 (en) 2012-07-06 2015-05-13 Telefonaktiebolaget LM Ericsson (Publ) Restricted intra deblocking filtering for video coding
US10242290B2 (en) * 2012-11-09 2019-03-26 Kla-Tencor Corporation Method, system, and user interface for metrology target characterization
US8867856B2 (en) * 2012-11-12 2014-10-21 Adobe Systems Incorporated De-noising image content using directional filters for image de-blurring
US9304332B2 (en) 2013-08-22 2016-04-05 Bespoke, Inc. Method and system to create custom, user-specific eyewear
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
TWI532361B (zh) 2013-12-27 2016-05-01 國立臺灣科技大學 自動尋景拍攝方法及其系統
US9842424B2 (en) * 2014-02-10 2017-12-12 Pixar Volume rendering using adaptive buckets
US9911243B2 (en) * 2014-03-15 2018-03-06 Nitin Vats Real-time customization of a 3D model representing a real product
WO2015150236A1 (en) * 2014-03-31 2015-10-08 Koninklijke Philips N.V. Magnetic resonance imaging with rf noise detection coils
US9734424B2 (en) * 2014-04-14 2017-08-15 Microsoft Technology Licensing, Llc Sensor data filtering
JP2015204561A (ja) * 2014-04-15 2015-11-16 株式会社デンソー 情報提示システム、及び、提示装置
KR102165610B1 (ko) * 2014-04-23 2020-10-14 삼성전자주식회사 엑스선 영상 장치 및 엑스선 영상 장치의 영상 처리 방법
US9639854B2 (en) * 2014-06-26 2017-05-02 Nuance Communications, Inc. Voice-controlled information exchange platform, such as for providing information to supplement advertising
US20150376931A1 (en) * 2014-06-30 2015-12-31 Uri El Zur Systems and methods for adaptive opening management
US10567641B1 (en) 2015-01-19 2020-02-18 Devon Rueckner Gaze-directed photography
US9826149B2 (en) * 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
US10376319B2 (en) 2015-06-09 2019-08-13 Cheng Xin She Image correction design system and method for oral and maxillofacial surgery
US11463689B2 (en) * 2015-06-18 2022-10-04 Qualcomm Incorporated Intra prediction and intra mode coding
US10810252B2 (en) 2015-10-02 2020-10-20 Adobe Inc. Searching using specific attributes found in images
US10789525B2 (en) * 2015-10-02 2020-09-29 Adobe Inc. Modifying at least one attribute of an image with at least one attribute extracted from another image
EP3156942A1 (en) * 2015-10-16 2017-04-19 Thomson Licensing Scene labeling of rgb-d data with interactive option
US10194170B2 (en) * 2015-11-20 2019-01-29 Mediatek Inc. Method and apparatus for video coding using filter coefficients determined based on pixel projection phase
US9962124B2 (en) * 2015-11-20 2018-05-08 The Regents Of The University Of Michigan Automated analysis of vasculature in coronary angiograms
GB2545661A (en) * 2015-12-21 2017-06-28 Nokia Technologies Oy A method for analysing media content
KR102433384B1 (ko) * 2016-01-05 2022-08-18 한국전자통신연구원 텍스처 이미지 처리 장치 및 방법
US10192103B2 (en) 2016-01-15 2019-01-29 Stereovision Imaging, Inc. System and method for detecting and removing occlusions in a three-dimensional image
US10789701B2 (en) 2017-04-13 2020-09-29 Instrumental, Inc. Method for predicting defects in assembly units
US11423651B2 (en) * 2016-02-09 2022-08-23 Hrl Laboratories, Llc System and method for the fusion of bottom-up whole-image features and top-down enttiy classification for accurate image/video scene classification
US10049267B2 (en) * 2016-02-29 2018-08-14 Toyota Jidosha Kabushiki Kaisha Autonomous human-centric place recognition
US10685434B2 (en) 2016-03-30 2020-06-16 Institute Of Automation, Chinese Academy Of Sciences Method for assessing aesthetic quality of natural image based on multi-task deep learning
US10002415B2 (en) 2016-04-12 2018-06-19 Adobe Systems Incorporated Utilizing deep learning for rating aesthetics of digital images
US9904871B2 (en) 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US10049425B2 (en) 2016-05-23 2018-08-14 Google Llc Merging filters for a graphic processing unit
US20180018970A1 (en) * 2016-07-15 2018-01-18 Google Inc. Neural network for recognition of signals in multiple sensory domains
US20180089583A1 (en) * 2016-09-28 2018-03-29 Intel Corporation Training methods for smart object attributes
US10388059B2 (en) * 2016-10-03 2019-08-20 Nvidia Corporation Stable ray tracing
US9940753B1 (en) * 2016-10-11 2018-04-10 Disney Enterprises, Inc. Real time surface augmentation using projected light
US10346723B2 (en) 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
US10783549B2 (en) 2016-11-18 2020-09-22 Adobe Inc. Determining persuasiveness of user-authored digital content items
US10453165B1 (en) 2017-02-27 2019-10-22 Amazon Technologies, Inc. Computer vision machine learning model execution service
JP7036628B2 (ja) 2017-03-10 2022-03-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US10096109B1 (en) * 2017-03-31 2018-10-09 The Board Of Trustees Of The Leland Stanford Junior University Quality of medical images using multi-contrast and deep learning
US10311552B2 (en) * 2017-04-06 2019-06-04 Pixar De-noising images using machine learning
US10607319B2 (en) * 2017-04-06 2020-03-31 Pixar Denoising monte carlo renderings using progressive neural networks
WO2018184187A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems for advanced and augmented training of deep neural networks using synthetic data and innovative generative networks
US10380493B2 (en) * 2017-04-17 2019-08-13 Essential Products, Inc. System and method for generating machine-curated scenes
US10262401B2 (en) * 2017-04-27 2019-04-16 Apple Inc. Noise reduction using sequential use of multiple noise models
US10572988B1 (en) * 2017-06-19 2020-02-25 A9.Com, Inc. Capturing color information from a physical environment
US10282862B2 (en) 2017-06-20 2019-05-07 Adobe Inc. Digital image generation and capture hint data
US10643368B2 (en) * 2017-06-27 2020-05-05 The Boeing Company Generative image synthesis for training deep learning machines
US10496104B1 (en) * 2017-07-05 2019-12-03 Perceptin Shenzhen Limited Positional awareness with quadocular sensor in autonomous platforms
CN111133440A (zh) * 2017-08-04 2020-05-08 奥沃德公司 基于机器学习的图像处理技术
US11049151B2 (en) 2017-12-28 2021-06-29 Verizon Media Inc. Systems and/or methods for constructing online ads using media objects created by generative processes
US10614292B2 (en) 2018-02-06 2020-04-07 Kneron Inc. Low-power face identification method capable of controlling power adaptively
US11534136B2 (en) * 2018-02-26 2022-12-27 Siemens Medical Solutions Usa, Inc. Three-dimensional segmentation from two-dimensional intracardiac echocardiography imaging
US10769437B2 (en) 2018-04-10 2020-09-08 Seiko Epson Corporation Adaptive sampling of training views
US10810775B2 (en) * 2019-02-20 2020-10-20 Adobe Inc. Automatically selecting and superimposing images for aesthetically pleasing photo creations
KR20230146540A (ko) * 2021-02-18 2023-10-19 트리나미엑스 게엠베하 얼굴 잠금 해제를 위한 광학 피부 검출

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130120354A1 (en) * 2008-08-28 2013-05-16 Peter F. Falco, Jr. Using Two Dimensional Image Adjustment Operations on Three Dimensional Objects
US20130156297A1 (en) * 2011-12-15 2013-06-20 Microsoft Corporation Learning Image Processing Tasks from Scene Reconstructions
US20190026956A1 (en) * 2012-02-24 2019-01-24 Matterport, Inc. Employing three-dimensional (3d) data predicted from two-dimensional (2d) images using neural networks for 3d modeling applications and other applications
US20140104450A1 (en) * 2012-10-12 2014-04-17 Nvidia Corporation System and method for optimizing image quality in a digital camera
US20150338722A1 (en) * 2014-05-20 2015-11-26 Canon Kabushiki Kaisha System and method for re-configuring a lighting arrangement
US20160171753A1 (en) * 2014-12-15 2016-06-16 Samsung Electronics Co., Ltd. 3d rendering method and apparatus
US20180114096A1 (en) * 2015-04-30 2018-04-26 The Regents Of The University Of California Machine learning to process monte carlo rendered images
US20170103512A1 (en) * 2015-10-13 2017-04-13 Siemens Healthcare Gmbh Learning-based framework for personalized image quality evaluation and optimization

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114846521A (zh) * 2020-05-20 2022-08-02 谷歌有限责任公司 从各种肖像学习照明

Also Published As

Publication number Publication date
US20190043172A1 (en) 2019-02-07
US11449967B2 (en) 2022-09-20
US20190043243A1 (en) 2019-02-07
US20220253986A1 (en) 2022-08-11
US20250095120A1 (en) 2025-03-20
US10902559B2 (en) 2021-01-26
US10762605B2 (en) 2020-09-01
EP3662413A4 (en) 2021-08-18
US20200349678A1 (en) 2020-11-05
US20190043210A1 (en) 2019-02-07
US20220358626A1 (en) 2022-11-10
US20210110518A1 (en) 2021-04-15
US12198308B2 (en) 2025-01-14
US10810706B2 (en) 2020-10-20
WO2019028472A1 (en) 2019-02-07
US11810270B2 (en) 2023-11-07
EP3662413A1 (en) 2020-06-10
US10997698B2 (en) 2021-05-04
US20240005456A1 (en) 2024-01-04
US11790491B2 (en) 2023-10-17
US20200394762A1 (en) 2020-12-17
US20210217143A1 (en) 2021-07-15
US11354782B2 (en) 2022-06-07
US20240070821A1 (en) 2024-02-29

Similar Documents

Publication Publication Date Title
US11810270B2 (en) Machine learning training images from a constrained set of three-dimensional object models associated with prescribed scene types
Bonneel et al. Intrinsic decompositions for image editing
Mayer et al. What makes good synthetic training data for learning disparity and optical flow estimation?
Shi et al. Match: Differentiable material graphs for procedural material capture
Yu et al. Artificial intelligence for Dunhuang cultural heritage protection: the project and the dataset
Xiao et al. Fast shadow removal using adaptive multi‐scale illumination transfer
CN104854426B (zh) 用于为了三维图像生成来标记图像的系统和方法
US11379992B2 (en) Patch expansion for segmentation network training
CN111681198A (zh) 一种形态学属性滤波多模融合成像方法、系统及介质
US8520972B2 (en) Image decomposition
Gupta et al. Image style transfer using convolutional neural networks based on transfer learning
Xiao et al. Vismantic: Meaning-making with images
Calatroni et al. Unveiling the invisible: mathematical methods for restoring and interpreting illuminated manuscripts
Weir et al. Deep portrait delighting
Vijendran et al. Artificial intelligence for geometry-based feature extraction, analysis and synthesis in artistic images: a survey
Dubolazov et al. Researching the possibilities of using ai technologies for digital image processing: review and applications
Pawar et al. A comparative study of effective way to modify different object in image and video using different inpainting methods
Georgoulis et al. Natural illumination from multiple materials using deep learning
Pawar et al. A comparative study of effective way to modify moving object in video: using different inpainting methods
Srivastava Deep Learning Methods for 3D Garment Digitization
Wu et al. Interactive Pattern Recognition and Interface Design Method Based on Image
Ziga Texture Synthesis and Photo-realistic Re-Rendering of Room Scene Images
Miller Accurate and discernible photocollages
Tan et al. Decomposing Digital Paintings into Layers via RGB-space Geometry
Nithina et al. Survey On Segmentation And Recognition Of Categorized Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination