[go: up one dir, main page]

CN110663044A - 用于提供产品放置的方法和设备 - Google Patents

用于提供产品放置的方法和设备 Download PDF

Info

Publication number
CN110663044A
CN110663044A CN201880033285.5A CN201880033285A CN110663044A CN 110663044 A CN110663044 A CN 110663044A CN 201880033285 A CN201880033285 A CN 201880033285A CN 110663044 A CN110663044 A CN 110663044A
Authority
CN
China
Prior art keywords
product
content
product placement
placement
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880033285.5A
Other languages
English (en)
Inventor
贾斯廷·C·马蒂诺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110663044A publication Critical patent/CN110663044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/10—Numerical modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一个实施方式提供一种方法，该方法包括在内容段在显示装置上回放期间，在内容段的帧中识别产品的产品放置机会。该方法还包括基于表示与产品相关的经过学习的放置模式的经过学习的统计模型来确定在帧中用以插入产品的产品放置内容的位置。该方法还包括：基于帧中存在的一个或多个对象来修改产品放置内容，以及基于位置通过将修改后的产品放置内容插入帧中来将产品的产品放置插入内容段中。修改后的产品放置内容看起来自然地出现在内容段中。

Description

用于提供产品放置的方法和设备
技术领域
本申请总体上涉及用于提供产品放置的方法和设备，更具体地，涉及用于提供深度产品放置的系统和方法。
背景技术
对象放置涉及对象在媒体内容(例如电影等)中的有意放置。广告是对象放置的一种形式，其中广告商可以与媒体内容提供商签订协议，以将广告商推广的产品放置到由媒体内容提供商生产的媒体内容中。例如，在邦德电影中示出
传统上，对象放置是在媒体内容的生产期间完成的。然而，一旦生产完成，就无法改变此类对象放置。此外，不可能使媒体内容的消费者具有个性化的体验。因此，需要一种在当前用户体验的背景下实现个性化对象放置的系统和方法。
发明内容
技术问题
各种示例提供了用于提供深层产品放置的方法和设备。可以使用诸如深度学习算法的人工智能算法来提供深度产品放置。
一个实施方式提供一种方法，该方法包括在内容段在显示装置上回放期间，在内容段的帧中识别产品的产品放置机会。该方法还包括基于表示与产品相关的经过学习的放置模式的经过学习的统计模型来确定在帧中用以插入产品的产品放置内容的位置。该方法还包括：基于帧中存在的一个或多个对象修改产品放置内容，以及基于位置通过将修改后的产品放置内容插入帧中来将产品的产品放置插入内容段中。修改后的产品放置内容看起来自然地出现在内容段中。
另一实施方式提供一种方法，该方法包括在训练阶段，基于具有自然出现的产品的一个或多个视觉内容段来生成产品的产品放置配置文件，以及向显示装置发送产品放置配置文件。产品放置配置文件包括产品的产品放置内容和用于将产品放置内容插入视觉内容中的一个或多个放置指导。产品放置配置文件允许显示装置在内容段的回放期间将产品的产品放置动态地插入内容段中。
问题解决方案
根据各种示例，一种方法可以包括：在内容段在显示装置上回放期间，在内容段的帧中识别产品的产品放置机会；基于经过学习的统计模型来确定在帧中用以放置与产品相关联的产品放置内容的位置，经过学习的统计模型表示与产品相关的经过学习的放置模式；以及基于位置将产品放置内容放置在帧中，其中产品放置内容看起来自然地出现在内容段中。
另外，该方法还可以包括基于与帧相关的信息修改产品放置内容。
另外，该方法还可以包括：接收产品放置配置文件，其中，产品放置配置文件包括产品放置内容和用于将产品放置内容放置在媒体内容中的一个或多个放置指导。
另外，当在帧中识别产品的产品放置机会时，可以将经过学习的对象检测器模型应用于帧，以检测产品的存在和符合产品放置配置文件的一个或多个对象的存在。
另外，当确定在帧中用以放置与产品相关联的产品放置内容的位置时，可以将经过学习的对象定位模型应用于帧，以定位帧中存在的一个或多个对象。
另外，当确定在帧中用以放置与产品相关联的产品放置内容的位置时，可以将经过学习的统计模型应用于帧，以计算相对于帧中的一个或多个经定位的对象的一个或多个平均偏移值。
另外，确定在帧中用以放置与产品相关联的产品放置内容的位置还可以包括：基于一个或多个平均偏移值确定位置的坐标。
另外，基于与帧相关的信息修改产品放置内容包括：相对于帧中的经定位的一个或多个对象缩放和旋转产品放置内容；以及基于指示帧中的一个或多个照明源和来自每个照明源的光方向的发光信息来照亮产品放置内容。
另外，该方法还可以包括：向管理与产品放置相关联的广告收益共享的服务器报告产品放置。
另外，基于与帧相关的信息修改产品放置内容包括：获得与以下中的至少一个相关联的上下文信息：显示装置的观看者、观看者的环境、显示装置、时间、日期、位置、由连接到显示装置的一个或多个其他装置捕获的信息或其组合；以及基于上下文信息修改产品放置内容。
另外，该方法还可以包括：检测观看者与产品放置的观看者交互，其中观看者交互包括观看者反馈或观看者印象中的至少一个；以及基于观看者交互来调用动作，其中动作包括以下中的至少一个：从在线网站购买产品、禁用产品放置、对产品放置进行评级、重新定向到其他内容，或其组合。
另外，该方法还可以包括：基于产品放置配置文件来识别产品与帧中存在的对象之间的交互机会；确定产品的和帧中存在的对象的姿势模型；以及通过操纵姿势模型来生成产品与帧中存在的对象之间的交互动作。
另外，产品放置内容包括与产品有关的视觉内容和音频内容中的至少一个。
根据各种示例，一种系统可以包括：至少一个处理器；以及非暂时性处理器可读存储器，存储器存储指令，指令在被至少一个处理器执行时使得至少一个处理器执行操作，该操作包括：在内容段在显示装置上回放期间，在内容段的帧中识别产品的产品放置机会；基于表示与产品相关的经过学习的放置模式的经过学习的统计模型来确定在帧中用以放置与产品相关联的产品放置内容的位置；以及基于位置将产品放置内容放置在帧中，其中产品放置内容看起来在内容段中自然出现。
根据各种示例，另一方法可以包括：在训练阶段：基于具有自然出现的产品的一个或多个视觉内容段来生成产品的产品放置配置文件，其中，产品放置配置文件包括产品的产品放置内容和用于将产品放置内容插入视觉内容中的一个或多个放置指导；以及向显示装置发送产品放置配置文件，以允许显示装置基于产品放置配置文件来在内容段的回放期间将产品的产品放置动态地插入内容段中。
另外，生成产品的产品放置配置文件包括：训练对象检测器模型，以基于第一组训练数据来检测视觉内容中的产品，第一组训练数据包括具有自然出现的产品的一个或多个视觉内容段；训练对象定位模型，以基于第二组训练数据来确定视觉内容中的产品的定位边界框，第二组训练数据包括一个或多个视觉内容段，视觉内容段包括对随机插入的产品的视觉表示；以及训练统计模型，以基于产品与第一组训练数据中的与产品共同出现的一个或多个对象的一个或多个空间关系来确定在视觉内容中产品相对于相同视觉内容中的一个或多个其他对象的正常放置。
根据各种示例，另一系统可以包括：至少一个处理器；以及非暂时性处理器可读存储器，存储器存储指令，指令在被至少一个处理器执行时使得至少一个处理器执行操作，该操作包括：基于具有自然出现的产品的一个或多个视觉内容段来生成产品的产品放置配置文件，其中，产品放置配置文件包括产品的产品放置内容和用于将产品放置内容插入视觉内容中的一个或多个放置指导；以及向显示装置发送产品放置配置文件，以允许显示装置基于产品放置配置文件来在内容段的回放期间将产品的产品放置动态地插入内容段中。
参考以下描述、所附权利要求和附图，将理解一个或多个实施方式的这些和其他特征、方面和优点。
附图说明
图1示出了在一个或多个实施方式中的用于深度产品放置的示例计算机架构；
图2A示出了在一个或多个实施方式中的示例视觉内容库；
图2B详细示出了在一个或多个实施方式中的示例服务器侧产品放置系统；
图2C示出了在一个或多个实施方式中的示例收益管理器；
图3详细示出了在一个或多个实施方式中的示例装置侧产品放置系统；
图4A示出了媒体内容的示例帧；
图4B示出了在一个或多个实施方式中的修改后的媒体内容的帧；
图5是在一个或多个实施方式中用于生成动态产品放置的示例过程的流程图；
图6是在一个或多个实施方式中用于生成产品放置配置文件的示例过程的流程图；以及
图7是示出包括用于实施所公开的实施方式的计算机系统的信息处理系统的示例性高级框图。
具体实施方式
进行以下描述是为了说明一个或多个实施方式的一般原理，并不意味着限制本申请所要求保护的发明构思。此外，本申请描述的具体特征可以通过各种可能的组合和排列的每一个的方式与其他描述的特征结合使用。除非本申请另有明确定义，否则对于所有术语应给予最宽泛的解释，包括说明书中隐含的含义以及本领域技术人员所理解和/或如字典、专著等所定义的含义。
一个实施方式提供一种方法，该方法包括在内容段在显示装置上回放期间，在内容段的帧中识别产品的产品放置机会。该方法还包括基于表示与产品相关的经过学习的放置模式的经过学习的统计模型来确定在帧中用以插入产品的产品放置内容的位置。该方法还包括：基于帧中存在的一个或多个对象修改产品放置内容，以及基于位置通过将修改后的产品放置内容插入帧中来将产品的产品放置插入内容段中。修改后的产品放置内容看起来自然地出现在内容段中。
另一实施方式提供一种方法，该方法包括在训练阶段，基于具有自然出现的产品的一个或多个视觉内容段来生成产品的产品放置配置文件，以及向显示装置发送产品放置配置文件。产品放置配置文件包括产品的产品放置内容和用于将产品放置内容插入视觉内容中的一个或多个放置指导。产品放置配置文件允许显示装置在内容段的回放期间将产品的产品放置动态地插入内容段中。
出于说明的目的，本申请所使用的术语“产品”通常是指由一实体推广的对象、行为或服务。产品的示例包括但不限于软饮、汽车、智能手机、蜂窝电话服务等。
出于说明的目的，本申请所使用的术语“媒体内容”通常是指视觉内容，例如图像、视频、视频游戏、数字图片、电影、电视节目或可在显示装置(例如，电视、监视器、平板电脑、智能手机等)上显示的任何其他类型的视觉内容。媒体内容可以由媒体内容提供商生产以进行大规模分发(例如，电影、电视节目等)，或由个人拍摄作为用户生成的内容(例如，个人/私人视频或图片等)。术语“媒体内容”和“视觉内容”可以互换使用。
出于说明的目的，术语“产品放置内容”通常是指与产品相关联的视觉和/或音频表示，例如图像、视频、产品的三维(3D)结构模型、歌曲、产品推广公告等。例如，产品放置内容可以包括这样的视觉表示：软饮品牌的罐、饮用软饮品牌的罐的人、软饮品牌的商业歌曲、汽车、包括产品的横幅，或在后台回放有关产品的歌曲。术语“产品放置内容”、“对象放置”和“产品放置”可以互换使用。
出于说明的目的，术语“产品放置配置文件”通常是指何时以及如何将与产品相关的产品放置内容放置在媒体内容中的描述。
传统上，由于在媒体内容的生产期间将产品放置插入媒体内容中，因而这些产品放置固定在媒体内容中的一定位置(“固定产品放置”)。与商业广告不同，媒体内容中的固定产品放置不可跳过，不需要观众花费额外的时间查看产品放置。然而，媒体内容中的固定产品放置无法轻松更改、更新、针对观众进行个性化设置或在生产媒体内容后转售。此外，由于媒体内容中包括的娱乐的流行性和寿命是媒体内容生产期间的未知因素，因此媒体内容中的固定产品放置可能具有风险。尽管存在这些未知因素，但广告商仍必须支付开发成本来生产产品放置内容。
本申请的一个实施方式提供一种产品放置框架，能够在媒体内容中动态地放置、编辑和合并与产品相关联的产品放置，使得产品放置看起来自然地出现在所产生的媒体内容中。当与产品放置相关联的产品在现实生活中类似地产生或放置/定位时，动态产品放置对于观看者来说看起来很自然(例如，特定品牌的软饮罐的图像可以自然地放置在桌子的顶部，而非在汽车顶部上)。基于从与产品和其他类似产品(例如，类似类型、效用和/或形状的产品)相关联的现有视觉/音频内容中的放置模式学习，框架动态地识别产品放置机会，所述产品放置机会表示媒体内容内可以放置表示产品的产品放置的自然位置/点。框架实时地识别产品放置机会，并且通过将与产品相关联的产品放置内容(例如，图像、视频等)放置在自然位置中来生成动态产品放置。
在一个实施方式中，框架应用算法，所述算法将产品的通用产品放置内容(例如，通用图像等)混合到媒体内容内的场景中，从而消除广告商执行此类工作的需要。所述算法可以适合于不同类型的媒体内容，从而能够毫不费力地在不同类型的媒体内容之间传达来自广告商的统一消息。
在一个实施方式中，框架生成交互式的动态产品放置。例如，基于观看者与产品放置的交互(例如，按下按钮)，动态产品放置可以是以下中的至少一个：禁用、评级(例如，喜欢、不喜欢等)、重定向到其他内容、订购/购买，或其组合。
在一个实施方式中，框架利用深度场景分割和理解来动态地识别潜在的自然产品放置。利用框架的一个或多个部件的显示装置将产品放置动态地放置在当前在显示装置上播放的媒体内容中(例如，将产品放置动态地放置在正在播放的电视节目中)。此外，对于由不同观看者观看但是播放相同媒体内容的不同显示装置，框架允许不同装置基于与观看者有关的个人信息和/或上下文信息而在媒体内容中动态放置不同的产品放置(即，观看相同媒体内容的不同观看者可以观看到不同的产品放置)。框架允许改变/更新现有内容中的产品放置。
图1示出了在一个或多个实施方式中的用于深度产品放置的示例计算机架构50。计算机架构50包括电子显示装置100，电子显示装置100包括计算资源，例如一个或多个处理器单元110和一个或多个存储单元120。一个或多个应用可以利用显示装置100的计算资源在显示装置100上执行/操作。在一个实施方式中，应用包括但不限于用于在显示装置100上回放媒体内容的内容回放系统130。
显示装置100的示例包括但不限于以下中的至少一个：智能电视、监视器、台式计算机、诸如平板电脑的移动装置、智能电话、笔记本电脑、可穿戴装置等。
在一个实施方式中，显示装置100上的应用还包括用于深度产品放置的装置侧(即，客户端侧)深度产品放置系统200A。在另一实施方式中，深度产品放置系统200A驻留在连接到显示装置100的单独的装置(例如但不限于机顶盒)或连接到显示装置100的另一类型的装置上。如本文稍后详细描述的那样，深度产品放置系统200A被配置成将一个或多个产品放置动态地放置在当前显示在显示装置100上的媒体内容中。放置的每个产品放置看似自然地出现在媒体内容中。
显示装置100还包括一个或多个其他输入/输出(I/O)模块140，例如键盘、小键盘、触摸界面、显示屏、遥控器等。I/O模块140可以集成在显示装置100中或与显示装置100耦合/连接。观看者30可以利用I/O模块140来与产品放置交互以及提供与产品放置有关的观看者反馈。
在一个实施方式中，显示装置100还包括至少一个传感器模块150(例如，相机、麦克风等)，用于捕获上下文和/或环境数据。例如，对于显示装置100的相机，可以用来捕获/记录观看者对产品放置的印象。在一个实施方式中，显示装置100可从耦合到显示装置100或与显示装置100连接的装置或传感器接收上下文和/或环境数据。
在一个实施方式中，显示装置100被配置成通过连接(例如，诸如无线保真(Wi-Fi)连接或蜂窝数据连接的无线连接、有线连接或两者的组合)与一个或多个远程服务器交换数据。显示装置100可以与之交换数据的远程服务器的示例包括但不限于一个或多个配置文件服务器500和/或一个或多个内容服务器300。
配置文件服务器500包括计算资源，例如一个或多个处理器装置510和一个或多个存储装置520。一个或多个应用可以利用配置文件服务器500的计算资源在配置文件服务器500上执行/操作。在一个实施方式中，应用包括但不限于用于深度产品放置的服务器侧深度产品放置系统200B。如本文稍后详细描述，深度产品放置系统200B被配置成生成并分发产品放置配置文件521(图2B)，以用于向显示装置100生成产品放置。在一个实施方式中，配置文件服务器500可以由广告商或另一实体来操作/管理。
内容服务器300可以将媒体内容分发到显示装置100以在显示装置100上回放。内容服务器300可以由媒体内容提供商或另一实体来操作/管理。媒体内容提供商可以出售与由媒体内容提供商生产的媒体内容相关联的一个或多个广告机会，广告商可以购买广告机会中的至少一个。
在一个实施方式中，产品放置系统200A利用被离线(即，不在显示装置100上)训练的一个或多个经过学习的模型。例如，可以利用配置文件服务器500的计算资源在配置文件服务器500上对学习的模型进行训练。作为另一示例，可以在另一远程服务器上对经过学习的模型进行训练。在训练之后，可以将经过学习后的模型作为深度产品放置系统200A的一部分加载到/下载到显示装置100。在另一实施方式中，在显示装置100本身上训练经过学习的模型。
图2A示出了在一个或多个实施方式中的示例视觉内容库540。在一个实施方式中，产品放置系统200B维护视觉内容库540，所述视觉内容库540包括自然出现一个或多个产品的多个视觉内容示例541。每个视觉内容示例541包括包含产品的视觉内容段，其中，产品被自然地放置/定位在视觉内容段中的自然位置/点。
在一个实施方式中，视觉内容库540驻留在远程服务器上。例如，视觉内容库540可以驻留在配置文件服务器500上。作为另一示例，视觉内容库540驻留在内容服务器300或另一远程服务器上。
图2B详细示出了在一个或多个实施方式中的示例服务器侧产品放置系统200B。在一个实施方式中，产品放置系统200B维护包括一个或多个产品放置配置文件521的产品放置配置文件知识库520。每个产品放置配置文件521对应于特定产品，包括用于确定产品正常出现在何处、正常与其同时出现的其他对象(即，通常与产品相关联)以及可以如何将产品的产品放置与媒体内容合并的信息。
在一个实施方式中，深层产品放置出现在以下阶段/时期：(1)训练阶段，在所述训练阶段期间生成一个或多个产品放置配置文件521，以及(2)部署阶段，在所述部署阶段可以将产品放置动态地放置到显示装置100当前播放的媒体内容中。
在一个实施方式中，产品放置系统200B包括被配置成生成一个或多个产品放置配置文件521的产品放置配置文件创建器510。在训练阶段，产品放置配置文件创建器510以以下方式生成产品的产品放置配置文件521：首先，产品放置配置文件创建器510训练对象检测器模型511，以基于产品的检测训练/参考数据来检测/识别具有自然出现的产品的视觉内容。在一个实施方式中，检测训练/参考数据包括与产品相关联的一个或多个视觉表示523。例如，视觉表示523可以包括产品的一张或多张特写图像/照片。
在一个实施方式中，与产品相关联的视觉表示523是从产品的广告商获得的。例如，产品放置配置文件创建器510可以远程访问由广告商维护/管理的远程服务器以获得视觉表示523。作为另一示例，广告商可以将视觉表示523上传到产品放置系统200B(例如，经由用户界面550)。
接着，在训练阶段，产品放置配置文件创建者510将所得的经过学习的对象检测器模型511应用于视觉内容库540，以识别具有自然出现的产品的视觉内容示例541(即产品自然放置/定位的视觉内容中的自然位置/点)。
接着，在训练阶段，产品放置配置文件创建器510训练对象定位模型512，以基于产品的定位训练/参考数据来确定产品的定位边界框。定位边界框限定/近似了产品的结构/形状轮廓。
在一个实施方式中，产品放置配置文件创建器510以以下方式生成定位训练/参考数据：产品放置配置文件创建器510分析视觉内容库540，选择不具有自然出现的产品的视觉内容示例541，将与产品相关联的视觉表示523在随机位置/点插入所选的视觉内容示例541中，以及将得到的修改后的视觉内容示例541维护为与视觉内容库540分开的副本。定位训练/参考数据包括所得的修改后的视觉内容示例541和位置信息，针对每个所得的修改后的视觉内容示例541，所述位置信息识别在视觉内容示例541中与产品相关联的视觉表示523随机插入到的确切的/已知的地点/点(即位置)。
在一个实施方式中，产品放置配置文件创建器510应用一个或多个最新方法/算法来训练对象定位模型512。例如，产品放置配置文件创建器510可以应用区域建议算法来生成一组候选/建议的定位边界框。包括候选/建议的定位边界框的内容被提供给神经网络以识别区域中的一个或多个对象。对于识别的对象中的至少一个，这可能导致一组重叠的定位边界框；可以使用基于定位边界框的大小、最大覆盖率和与一个或多个其他候选/建议的定位边界框重叠的度量，将这组重叠的定位边界框缩减为对象的最终定位边界框。作为另一示例，产品放置配置文件创建器510可以应用涉及使用经训练以识别定位边界框的两个角(例如，左上角和右下角)的坐标的神经网络来扫描图像(例如，视觉内容示例541)的算法。
接着，产品放置配置文件创建器510将所得的经过学习的对象定位模型512应用于视觉内容库540，以在具有自然出现的产品的视觉内容示例541(即，通过应用经过学习后的对象检测器模型511识别的视觉内容示例541)中定位产品。将经过学习的对象定位模型512应用于具有自然出现的产品的视觉内容示例541，使得在产品周围放置定位边界框以定位产品。接着，产品放置配置文件创建器510确定由定位边界框限定的定位产品与视觉内容示例541中的一个或多个其他对象的一个或多个空间关系(如果有的话)。所确定的空间关系指示一个或多个其他对象的存在、位置和旋转。例如，所确定的空间关系可以针对一个或多个其他对象中的每一个指示该其他对象与产品的相对距离和相对角度。
在一个实施方式中，产品放置系统200B维护预先确定的通用对象定位模型，所述预先确定的通用对象定位模型包括在视觉内容库540的视觉内容示例541中出现的一组已知/共同的对象的预先确定的定位边界框。将通用对象定位模型应用于图像(例如，视觉内容示例541)使得在图像中出现的每个已知/共同的对象周围放置预先计算的定位边界框。
接着，产品放置配置文件创建器510训练统计模型513，以基于从具有自然出现的产品的视觉内容示例541中确定的所有空间关系来确定在视觉内容中产品相对于相同视觉内容中一个或多个其他对象的自然放置。所得的经过学习的统计模型513表示基于现有视觉内容的与产品和其他类似产品(例如，相似类型、效用和/或形状的产品)有关的经过学习的放置模式。如稍后所描述，在部署阶段，经过学习的统计模型513可以用于确定相对于在可放置/定位产品放置的场景中出现的对象的距离和角度。
接着，在训练阶段，产品放置配置文件创建器510通过基于从具有自然出现的产品的视觉内容示例541中确定的所有空间关系来计算视觉内容示例541中的一个或多个其他对象与产品的平均相对比例和平均相对旋转，来生成产品的空间关系信息514。
产品的所得到的产品放置配置文件521包括但不限于以下内容：产品放置内容522、经过学习的对象检测器模型511、经过学习的的对象定位模型512、经过学习的统计模型513和空间关系信息514。产品放置内容522包括与产品相关联的一个或多个视觉表示(例如，视觉表示523)和/或音频表示，例如图像、视频、产品的3D结构模型、歌曲、产品的推广公告等。产品放置内容522可以从产品的广告商获得。
在一个实施方式中，产品放置内容522还可以包括元数据，例如音频数据和/或购买元数据，音频数据用以在部署阶段与媒体内容(例如，当前在显示装置100上回放的媒体内容)中的产品放置内容522合并，购买元数据用于产品广告、信息和购买(例如，指向可以从其购买产品的在线站点的链接)。在部署阶段，购买元数据可以由显示装置100使用，以促进观看者30经由显示装置100的I/O模块140购买产品。
在一个实施方式中，产品的产品放置配置文件521还包括一个或多个预定义规则(即，要求、限制、许可、机会)，例如但不限于广告商的放置要求、媒体内容提供商的放置要求、广告商的语义要求、媒体内容提供商的语义要求、广告活动详细信息(例如持续时间、预算、人口统计信息)、广告商预先指定的交互机会等。在一个实施方式中，广告商或媒体内容提供商可以经由用户界面550预先指定一个或多个规则。预先指定的规则可以用于选择优选的产品放置或允许/禁止产品放置。预先指定的规则可能涉及不同的触发条件/因素，例如但不限于以下各项：(1)视觉内容中出现的某些对象是同时处于视野中、在某个时间间隔期间处于视野中还是在整个视觉内容期间处于视野中；(2)视觉内容中出现的某些对象是否处于指定布置中，(3)来自一个或多个连接的装置(例如，物联网(IoT)装置)的信息，(4)之前产品放置的历史记录，以及(5)观看者反馈。
经由用户界面550，产品放置系统200B允许媒体内容提供商注册由媒体内容提供商生产的用于产品放置的媒体内容，并且预先指定媒体内容提供商关于产品放置的任何规则。在一个实施方式中，经由用户界面550，产品放置系统200B允许广告商定义广告商正在推广的产品，将产品的视觉内容示例541上传到视觉内容库540，并且预先指定广告商关于产品放置的任何规则。
在一个实施方式中，产品放置配置文件521是离线生成的(例如，在配置文件服务器500上)，接着被分发/分配给显示装置100，其中产品放置配置文件521用于动态地识别在当前显示在显示装置100上的媒体内容中的产品放置机会，并动态地生成产品放置。产品放置系统200B可以从显示装置100接收产品放置的观看者反馈和观看者印象。
在一个实施方式中，一些产品放置配置文件创建器510可以利用深度学习技术(例如，卷积神经网络，例如AlexNet，GoogLeNet等)来训练一个或多个学习模型(例如，对象检测器模型511、对象定位模型512、统计模型513等)。在另一实施方式中，可以替代地利用非深度学习技术，例如计算机视觉解决方案、混合解决方案、机器学习算法等。
图2C示出了在一个或多个实施方式中的示例收益管理器530。收益管理器530被配置成管理与一个或多个产品放置相关联的广告收益的共享。在一个实施方式中，与产品放置相关联的广告收益的共享可以基于产品放置的观看者反馈和观看者印象。收益管理器530维护关系数据库管理系统(RDBMS)531，以用于跟踪与在财务上受产品放置影响的各方相关联的信息。财务上受产品放置影响的各方的示例包括但不限于广告商、媒体内容提供商和原始设备制造商(OEM)(例如，显示装置100的OEM)，以及媒体内容的一个或多个观看者30。由RDBMS 531跟踪的信息的示例包括但不限于支付、广告收益、广告度量等。为了说明的目的，本文所用的术语“支付”通常是指与产品相关联的每一方广告收益的份额(例如，产品的广告商欠所述一方的金额)。与产品放置相关联的广告收益在财务上受产品放置影响的各方之间分配。在一个实施方式中，收益管理器530被配置成控制各方之间的支付分配。
在一个实施方式中，收益管理器530驻留在远程服务器上。例如，收益管理器530可以驻留在配置文件服务器500上。作为另一示例，收益管理器530驻留在内容服务器300或另一远程服务器上。
图3详细示出了在一个或多个实施方式中的示例装置侧产品放置系统200A。在一个实施方式中，产品放置系统200A维护离线创建的内部产品放置配置文件521集合。产品放置系统200A包括放置引擎600，所述放置引擎被配置成：(1)响应于当前显示在显示装置100上的媒体内容的回放，基于内部产品放置配置文件521集合确定何时在媒体内容中放置产品的产品放置，以及(2)动态放置和合并媒体内容中的产品放置，以使产品放置看起来自然地出现在所得的媒体内容中。如本文稍后详细描述，在一个实施方式中，可以应用一个或多个姿势估计算法642以操纵产品放置与所得的媒体内容中的另一对象之间的交互动作。
在一个实施方式中，放置引擎600包括产品放置机会检测器610，所述产品放置机会检测器610被配置成在部署阶段对当前显示的媒体内容帧执行轻量级处理，以动态识别在该帧中是否存在产品的产品放置机会。具体地，基于内部产品放置配置文件521集合，检测器610检查该帧以确定是否存在对应产品的产品放置机会。检测器610将包括在产品放置配置文件521中的经过学习的对象检测器模型511应用于帧，以检测产品和适合产品放置配置文件521的一个或多个其他对象(例如，通常与产品同时出现的对象)的存在。如果产品本身不包括在帧中，但是检测到适合产品放置配置文件521的一个或多个其他对象(即，存在于帧中)，那么检测器610识别出产品的产品放置机会。
在一个实施方式中，对帧中同时出现的对象的检测是可选的。例如，如果产品放置机会的动态识别是离线(例如，在配置文件服务器500上)执行的，那么可以省略或放松检测以仅需要同时出现的对象的一部分。
在一个实施方式中，放置引擎600包括场景理解单元620，所述场景理解单元被配置成：(1)确定在帧的场景中正在出现什么，以及(2)确定由检测器610识别的产品放置机会是否实施产品的广告商的语义要求和/或媒体内容的媒体内容提供商的语义要求。例如，如果广告商的语义要求指定只有主角角色使用产品，那么当场景涉及一个或多个主角角色时，所识别的产品放置机会就满足语义要求。在一个实施方式中，场景理解单元620可将一个或多个深度学习分类器应用于场景。在另一实施方式中，场景理解单元620可以将基于规则的逻辑推理应用于媒体内容的元数据。
在一个实施方式中，放置引擎600包括产品放置器630，以用于基于在帧中检测到的一个或多个其他对象来确定帧中的位置(即，授权点)，以放置包括在产品的产品放置配置文件521中的产品放置内容522。在一个实施方式中，放置器630应用包括在产品放置配置文件521中的经过学习的对象定位模型512，以定位在帧中检测到的一个或多个其他对象。
在一个实施方式中，放置器630应用包括在产品放置配置文件521中的经过学习的统计模型513，以计算相对于帧中定位的对象的一个或多个平均偏移(例如，平均比例、平均旋转等)。放置器630基于一个或多个平均偏移来确定产品放置内容522在帧中的正常放置的坐标。
在一个实施方式中，放置器630对帧应用一个或多个光源检测算法，以确定指示一个或多个照明源以及来自每个照明源的光方向的发光信息。
在一个实施方式中，放置器630动态地生成、放置和合并产品在帧中的产品放置。具体地，放置器630通过相对于帧中定位的对象放大/缩小和旋转产品放置内容522并基于发光信息照亮产品放置内容522，来修改产品放置内容522的比例、旋转和照度。在一个实施方式中，可以使用渲染引擎和光线投射来照亮产品放置内容522。放置器630基于坐标将所得的修改后的产品放置内容522放置在帧中。
在一个实施方式中，放置器630包括场景分割单元632，所述场景分割单元632可用于增强帧中出现的对象的定位。具体地，当将对象定位模型512应用于帧以定位在帧中出现的对象时，在对象周围放置定位边界框。场景分割单元632被配置成基于放置在对象周围的定位边界框来确定对象的结构/形状轮廓。为了增强对象的定位，结构/形状轮廓中包括的每个像素都被视为对象的一部分。例如，如果对象是桌子，那么场景分割单元632用于确定桌子的结构/形状轮廓，使得包括在结构/形状轮廓中的每个像素被视为桌子的一部分；这对于将产品(例如某个特定品牌的软饮)的产品放置直接放在桌子顶部而不是漂浮在桌子上方可以是有用的。
在一个实施方式中，场景分割单元632被配置成应用针对前景和/或背景检测而训练的一个或多个模型；如果广告商指定与产品在前景和/或背景中的放置相关联的一个或多个约束，那么可以利用这些模型。
在一个实施方式中，放置器600将产品放置报告给广告商服务器500，用于管理与产品放置相关联的收益共享。
在一个实施方式中，放置引擎包括产品交互引擎640，以用于基于在帧中检测到的一个或多个其他对象以及包括在产品放置配置文件521中的一个或多个预先指定的交互机会，来识别与和产品相关联的触发的一个或多个交互动作。
广告商可以预先指定什么是交互机会以及何时可以使用交互机会。例如，假设广告商指定交互机会，所述交互机会涉及当主角在桌子旁坐下时饮用放在桌子上的产品(例如罐)的主角角色。广告商可以指定交互机会涉及放置到帧中作为产品放置的罐对象与在相同框中检测到的人类对象(即，饮用所述罐对象的人类对象)之间要采取的交互动作。产品交互引擎640应用一个或多个姿势估计算法642来确定用于罐对象和人类对象的姿势模型，其中每个姿势模型识别叠加在一种类别的示例(例如，帧中的主角)上的一种类别的结构轮廓(例如，具有多个可弯曲的关节的人类的线条画)。姿势模型仅用于操纵帧中的罐对象和人类对象；所述姿势模型对观看者不显示/不可见。
对于交互机会，广告商可以指定罐对象的结构表示，以及罐对象的各个部分在结构表示上的位置，例如罐对象的顶部的位置和罐对象的底部的位置。广告商可以指定人类对象的结构表示以及人类对象的各个部分在结构表示上的位置，例如人类对象的右手的位置、人类对象的嘴的位置等。
对于交互机会，广告商可以指定步骤序列，以执行要在两个对象之间采取的交互动作。例如，步骤顺序可以如下：(1)将人类对象的右手放置在罐对象上，(2)播放听起来像人类对象的手指放置在罐对象上的音频(例如，产品放置内容522的元数据中包括的音频数据)，(3)用人类对象的右手将罐对象的顶部抬到人类对象的嘴上，(4)将人类对象的嘴和罐对象向后倾斜约40度，(5)暂停，(6)将人类对象的头部和罐对象降低约40度，以及(7)将罐对象和人类对象的右手移回初始位置。广告商还可以指定每个步骤花费的时间量(例如，暂停预先指定的时间段)。
对于交互机会，广告商可以指定一个或多个约束来触发/起动要在两个对象之间采取的交互动作。一个示例约束是要求人类对象和罐对象在同一帧中共同出现。另一示例约束是，在要采取交互动作期间，人类对象的嘴必须处于视野中，并且不得移动。
当触发要在两个对象之间采取的交互动作时，产品交互引擎640通过操纵罐对象和人类对象的姿势模型来创建交互动作。姿势模型可以在其关节处弯曲以执行指定的步骤顺序。例如，人类对象的皮肤(即，表面)可以根据人类对象的姿势模型移动，且可以通过应用一个或多个3D场景重建算法641来用适当的纹理对不处于视野中的部分进行遮蔽。
对于交互机会，广告商可以指定包括短暂的暂停，以中断帧中场景的正常流动，并允许人类对象从罐对象中获取饮料。另选地，广告商可能希望无缝地集成两个对象之间进行的交互动作，而不会暂停在场景中发生的任何其他动作(即，任何其他动作继续不间断)。例如，如果人类对象正在听在帧中正在说话的另一人类对象说话，那么人类对象可以从罐对象中喝一小口，而不会中断正在说话的另一人类对象，从而增加了产品放置的真实感。
交互机会还可涉及帧中的一个或多个其他对象，所述对象执行动作以指示对象对罐对象的感知。例如，帧中的另一人类对象可以看一眼罐对象，在罐对象上标记，移动罐对象，或甚至操纵罐对象。可以应用一个或多个3D场景重建算法641和/或姿势估计算法642来操纵帧中的对象并从不同方向观看对象。
在一个实施方式中，产品交互引擎640是可选的；可以利用基于广告商的交互机会的列表来代替产品交互引擎640。
产品放置系统200A包括个性化引擎650，所述个性化引擎650被配置成基于显示装置100的观看者30的个人信息而过滤掉要在媒体内容中放置的潜在产品放置。在一个实施方式中，对于要在媒体内容中放置的每个潜在产品放置，个性化引擎650基于个人信息和对应的潜在广告收益向潜在产品放置分配价值评分。如果要在媒体内容中放置的两个或更多个潜在产品放置是针对两个或更多个竞争产品(例如，两个或更多个不同品牌的软饮)，那么个性化引擎650基于其价值评分对潜在产品放置进行排名，并放置仅具有最高价值评分的产品放置。
在一个实施方式中，个性化引擎650被配置成记录放置在媒体内容中的产品放置的观看者反馈和观看者印象，并将观看者反馈和观看者印象返回到远程服务器，例如但不限于配置文件服务器500。
在一个实施方式中，个性化引擎650被配置成基于观看者与产品放置的交互或产品放置的观看者印象来启用/禁用放置在媒体内容中的产品放置。例如，观看者30可以经由显示装置100的I/O模块140与产品放置进行交互，例如通过按下按钮来购买与产品放置相关联的产品，突出显示产品放置和对产品放置进行评级，通过按下按钮来选择性地禁用产品放置，以及其他UI功能。作为另一示例，显示装置100的传感器模块150可以捕获产品放置的观看者印象(例如，观看者30竖起大拇指表示认可，从而启用产品放置和将来类似的产品放置)。
在一个实施方式中，如果放置引擎600识别出两个或更多个潜在的产品放置在同一帧中并且产品放置的坐标重叠，那么仅将具有由个性化引擎650计算出的最高评分的产品放置在帧中。
在一个实施方式中，针对可在显示装置100上显示的任何类型的媒体内容，在装置上(即，在显示装置100上)执行动态产品放置，从而支持个性化并保留观看者的隐私，因为产品放置不在中央服务器上进行。产品放置的个性化可以基于不同类型的上下文信息。例如，产品放置的个性化可以基于以下中的至少一个：当前的观看者体验、显示装置的用途、来自一个或多个连接的装置的信息(例如，位于观看者环境中的IoT装置，例如由智能冰箱捕获的识别冰箱中可用的软饮的首选品牌的信息)、位置、时间、日期或其组合。
在另一实施方式中，动态产品放置在将媒体内容流式传输到显示装置100期间离线地(例如，在例如但不限于配置文件服务器500的远程服务器上)执行，并且包括在流中。
在一个实施方式中，产品放置系统200A允许对现有内容中的产品放置进行改变/更新。例如，如果应用于现有内容中的帧的对象检测器模型511检测到帧中出现先前/较旧版本的对象，那么产品放置系统200A用表示对象的更新/较新版本的产品放置来替换/更新对象(例如，用新样式的罐对象替换帧中出现的旧样式的罐对象，用新公司/品牌徽标替换旧公司/品牌徽标，用新手机型号替换旧手机型号等)。
在一个实施方式中，如果媒体内容包括游戏，那么产品放置系统200A允许在游戏中放置或更新真实对象。
在一个实施方式中，产品放置系统200A允许在媒体内容中进行实时音频放置。音频放置包括基于对媒体内容的分析实时放置音频内容(即，声音)。例如，如果媒体内容的帧中包括的场景显示在街上行走的人，且此场景仅伴随着背景噪音，那么产品放置系统200A可以用其他音频内容(例如广告歌曲、公共服务公告等)代替背景噪音。作为另一示例，音频放置可以伴随产品放置(即，两者都被合并到场景中)以给观看者30带来更身临其境的体验。
在一个实施方式中，产品放置系统200A允许运动适配。例如，当将对象放置在场景中时，对象的运动可以与场景中的其他运动一致地移动。如果场景显示龙卷风，那么放置在场景中的产品放置的运动与场景中包括并受龙卷风影响的其他对象的运动一致。作为另一示例，当将对象放置在场景中时，对象的运动与场景中的其他运动分离。如果场景显示撞击，那么放置在场景中的产品放置可能是静止/不动的，而场景中包括的其他对象的运动会受到撞击的影响。
在一个实施方式中，产品放置系统200A允许特定于装置的对象放置。放置在媒体内容中的对象放置可能会受到当前显示媒体内容的显示装置100的功能的限制，使得具有不同功能的不同显示装置100可能会显示不同的对象放置。可以基于当前显示媒体内容的显示装置100的显示特性来适配放置在媒体内容中的对象放置，使得具有不同显示特性的不同显示装置100可以显示不同分辨率的对象放置。
图4A示出媒体内容的示例帧700。如图4A所示，帧700包括场景，所述场景涉及安放在书桌后面的电视主机。帧700不包括任何产品放置。
图4B示出在一个或多个实施方式中的修改后的媒体内容的帧710。修改后的帧710包括帧700(图4A)中包括的相同场景，但是放置表示特定品牌的软饮的产品放置720。将产品放置720放置在书桌上，使得产品放置720对于观看者而言看起来是自然的(因为书桌/桌子上的软饮是自然出现的)。
图5是在一个或多个实施方式中的用于生成动态产品放置的示例过程800的流程图。在过程框801中，在内容段在显示装置上回放期间，在内容段的帧中识别产品的产品放置机会。在过程框802中，基于表示与产品相关的经过学习的放置模式的经过学习的统计模型来确定在帧中用以放置产品的产品放置内容的位置。在过程框803中，基于框中存在的一个或多个对象来修改产品放置内容。在过程框804中，通过基于位置将修改后的产品放置内容放置在帧中来将产品的产品放置放置在内容段中，其中修改后的产品放置内容看起来自然地出现在内容段中。
在一个实施方式中，过程框801到804可以由装置侧产品放置系统200A的一个或多个部件(例如但不限于放置引擎600)来执行。
可以利用人工智能算法来学习和训练各种学习模型。人工智能算法可以包括以下中的至少一个：深度学习技术、非深度学习技术、机器学习、神经网络模型、分类算法。
图6是在一个或多个实施方式中用于生成产品放置配置文件的示例过程900的流程图。在过程框901中，基于与产品相关联的视觉表示(例如，由产品的广告商提供的视觉表示)训练对象检测器模型。在一个实施方式中，可以利用深度学习技术(例如，诸如AlexNet、GoogLeNet等的卷积神经网络)或非深度学习技术(例如，计算机视觉解决方案、混合解决方案、机器学习算法等)来训练对象检测器模型。
在过程框902中，将经过训练的对象检测器模型应用于视觉内容库，以识别具有自然出现的产品的视觉内容示例。
在产品框903中，通过分析视觉内容库、选择没有自然出现的产品的视觉内容示例并将视觉表示在随机位置插入所选视觉内容示例中来创建定位训练数据，其中，定位训练数据包括所得的修改后的视觉内容示例。在过程框904中，训练对象定位模型，以基于定位训练数据确定产品的定位边界框。
在过程框905中，将训练的对象定位模型应用于具有自然出现的产品的每个视觉内容示例，以定位产品并确定由定位边界框限定的定位产品与视觉内容示例中的一个或多个其他对象的空间关系(如果有的话)。在下列过程906中，训练统计模型，以基于从具有自然出现的产品的视觉内容示例确定的所有空间关系，来确定在视觉内容中产品相对于相同视觉中一个或多个其他对象的自然放置。
在处理框907中，通过基于训练的统计模型计算视觉内容示例中的一个或多个其他对象与产品的平均相对比例和平均相对旋转，来确定产品的空间关系信息。在过程框908中，生成用于产品的产品放置配置文件，其中，产品放置配置文件包括产品放置内容、经过训练的对象检测器模型、经过训练的对象定位模型、经过训练的统计模型以及空间关系信息。
在一个实施方式中，过程框901到908可以由服务器侧产品放置系统200B的一个或多个部件(例如但不限于产品放置配置文件创建器510)来执行。
图7是示出包括用于实施所公开的实施方式的计算机系统600的信息处理系统的高级框图。计算机系统600可以被并入显示装置100或服务器装置(例如，配置文件服务器500)中。计算机系统600包括一个或多个处理器601，还可以包括电子显示装置602(用于显示视频、图形、文本和其他数据)、主存储器603(例如，随机存取存储器(RAM))、存储装置604(例如，硬盘驱动器)，可移动存储装置605(例如，可移动存储驱动器、可移动存储器模块、磁带驱动器、光盘驱动器，已在其中存储计算机软件和/或数据的计算机可读介质)、观看者界面装置606(例如，键盘、触摸屏、小键盘、指向装置)以及通信接口607(例如，调制解调器、网络接口(例如以太网卡)、通信端口或PCMCIA插槽和卡)。通信接口607允许软件和数据在计算机系统与外部装置之间传输。系统600还包括与前述装置/模块601到607连接的通信基础设施608(例如，通信总线、交叉条或网络)。
经由通信接口607传输的信息可以呈信号的形式，例如电子、电磁、光信号或其他能够由通信接口607经由携带信号的通信链路接收且可以使用电线或电缆、光纤、电话线、蜂窝电话链路、射频(RF)链路和/或其他通信通道实施的信号。可以将表示本文框图和/或流程图的计算机程序指令加载到计算机、可编程数据处理设备或处理装置上，以使在其上执行的一系列操作生成计算机实施的过程。在一个实施方式中，用于过程800(图8)的处理指令可以作为程序指令存储在存储器603、存储装置604和可移动存储装置605上，以由处理器601执行。
已经参考方法、设备(系统)和计算机程序产品的流程图说明和/或框图描述了实施方式。可以通过计算机程序指令来实施这种示出/图表的每个框或其组合。计算机程序指令在被提供给处理器时产生机器，使得经由处理器执行的指令创建用于实施流程图和/或框图中指定的功能/操作的装置。流程图/框图中的每个框可以表示硬件和/或软件模块或逻辑。在替代实施方式中，框中指出的功能可以不按图中指出的次序出现、同时出现等。
术语“计算机程序介质”、“计算机可用介质”、“计算机可读介质”和“计算机程序产品”通常是指介质，例如主存储器、辅助存储器、可移动存储驱动器、安装在硬盘驱动器上的硬盘，以及信号。这些计算机程序产品是用于向计算机系统提供软件的装置。计算机可读介质允许计算机系统从计算机可读介质读取数据、指令、消息或消息分组以及其他计算机可读信息。例如，计算机可读介质可以包括非易失性存储器，例如软盘、ROM、快闪存储器、磁盘驱动器存储器、CD-ROM和其他永久性存储装置。例如，对于在计算机系统之间传输信息(例如数据和计算机指令)是有用的。计算机程序指令可以存储在计算机可读介质中，所述计算机可读介质可以指示计算机、其他可编程数据处理设备或其他装置以特定方式起作用，使得存储在计算机可读介质中的指令产生制品，制品包括实施流程图和/或框图的一个或多个框中指定的功能/动作的指令。
如将由本领域的技术人员理解，实施方式的各个方面可以体现为一种系统、方法或计算机程序产品。因此，实施方式的各个方面可以采用以下形式：完全硬件实施方式、完全软件实施方式(包括固件、驻留软件、微代码等)或者组合软件和硬件方面的实施方式，这些方面在本文中通常都可以称为“电路”、“模块”或“系统”。此外，实施方式的各个方面可以采用在一个或多个计算机可读介质中包含的计算机程序产品的形式，所述计算机可读介质具有体现在其上的计算机可读程序代码。
可以使用一个或多个计算机可读介质的任何组合。计算机可读介质可以是计算机可读存储介质。计算机可读存储介质可以是例如但不限于电、磁、光、电磁、红外或半导体系统、设备或装置、或前述的任何合适的组合。计算机可读存储介质的更具体的示例(非详尽列表)将包括以下内容：具有一条或多条电线的电连接，便携式计算机磁盘，硬盘，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编程只读存储器(EPROM或闪存)，光纤，便携式光盘只读存储器(CD-ROM)，光学存储设备，磁存储设备或前述的任何合适的组合。在本文献的上下文中，计算机可读存储介质可以是任何有形介质，其可以包含或存储程序以供指令执行系统、设备或装置使用或与指令执行系统、装置或设备结合使用。
可以用一种或多种编程语言的任何组合来编写用于执行一个或多个实施方式的各个方面的操作的计算机程序代码，所述编程语言包括诸如Java、Smalltalk或C++等的面向产品的编程语言和诸如“C”编程语言或类似的编程语言的传统的过程编程语言。程序代码可以完全在观看者的计算机上执行、部分在观看者的计算机上执行、作为独立的软件包执行、部分在观看者的计算机上且部分在远程计算机上执行或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过包括局域网(LAN)或广域网(WAN)的任何类型网络连接到观看者的计算机，或者可以进行与外部计算机的连接(例如，使用互联网服务提供商通过互联网来实现)。
上文参考方法、设备(系统)和计算机程序产品的流程图说明和/或框图描述了一个或多个实施方式的各个方面。将理解，可以由计算机程序指令实施流程图说明和/或框图的每个框以及流程图说明和/或框图中的框的组合。这些计算机程序指令可以提供给专用计算机或其他可编程数据处理设备以产生机器，使得经由计算机的处理器或其他可编程数据处理设备执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的装置。
这些计算机程序指令可以存储在计算机可读介质中，所述计算机可读介质可以指示计算机、其他可编程数据处理设备或其他装置以特定方式起作用，使得存储在计算机可读介质中的指令产生制品，制品包括实施流程图和/或框图的一个或多个框中指定的功能/动作的指令。
计算机程序指令还可以被加载到计算机、其他可编程数据处理设备或其他装置上，以使得在计算机、其他可编程设备或其他装置上执行一系列操作步骤，以产生计算机实施的过程，使得在计算机或其他可编程设备上执行的指令提供用于实施在流程图和/或框图的一个或多个框中指定的功能/动作的过程。
图中的流程图和框图说明根据各种实施方式的系统、方法和计算机程序产品的具有可能实施方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、段或部分，所述指令包括用于实施指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中提及的功能在图中可以不按图中指出的次序出现。例如，连续示出的两个框事实上可以基本上同时执行，或者框有时可以按相反的顺序执行，具体取决于涉及的功能。还应注意，框图和/或流程图说明中的每个框以及框图和/或流程图说明中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实施。
除非另有明确说明，否则权利要求书中以单数形式提及的元件并不旨在意指“一个且仅一个”，而是“一个或多个”。本领域的普通技术人员当前已知或以后将知道的与上文描述的示例性实施方式的元件的所有结构和功能等效物均旨在被本申请权利要求书涵盖。除非使用短语“用于……的装置”或“用于……的步骤”明确地叙述元件，否则本文的任何权利要求要素都不应被解释为在功能权利要求的规定下。
本文使用的术语仅用于描述特定实施方式的目的，且并不旨在限制本申请。如本文所用，单数形式“一(a)”、“一个(an)”和“所述(the)”也旨在包括复数形式，除非上下文另有明确说明。可进一步理解，当在本说明书中使用时，术语“包括”和/或“包括了”指定所述特征、整体、步骤、操作、元件和/或部件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或它们的组合的存在或添加。
所附权利要求中的所有装置或步骤加上功能元件的对应结构、材料、作用和等效物旨在包括用于与具体要求保护的其他要求保护的元件组合地执行功能的任何结构、材料或作用。已经出于说明和描述的目的呈现实施方式的描述，但是其并不旨在穷举或限于公开形式的实施方式。在不脱离本申请的范围的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。
尽管已经参考实施方式的某些版本描述了实施方式；然而，其他版本也是可能的。因此，所附权利要求书的精神和范围不应限于对本文包含的优选版本的描述。

Claims (15)

1.一种用于提供产品放置的方法，所述方法包括：
在内容段在显示装置上回放期间，在所述内容段的帧中识别产品的产品放置机会；
基于经过学习的统计模型确定在所述帧中用以放置与所述产品相关联的产品放置内容的位置，所述经过学习的统计模型表示与所述产品相关的经过学习的放置模式；以及
基于所述位置将所述产品放置内容放置在所述帧中，其中所述产品放置内容看起来自然地出现在所述内容段中。
2.根据权利要求1所述的方法，还包括：
基于与所述帧相关的信息修改所述产品放置内容。
3.根据权利要求2所述的方法，还包括：
接收产品放置配置文件，其中，所述产品放置配置文件包括所述产品放置内容和用于将所述产品放置内容放置在媒体内容中的一个或多个放置指导。
4.根据权利要求3所述的方法，其中，在所述帧中识别所述产品的产品放置机会包括：
将经过学习的对象检测器模型应用于所述帧，以检测所述产品的存在和符合所述产品放置配置文件的一个或多个对象的存在。
5.根据权利要求3所述的方法，其中，确定在所述帧中用以放置与所述产品相关联的产品放置内容的位置包括：
将经过学习的对象定位模型应用于所述帧以定位所述帧中存在的所述一个或多个对象；
将所述经过学习的统计模型应用于所述帧以计算相对于所述帧中的经定位的所述一个或多个对象的一个或多个平均偏移值；以及
基于所述一个或多个平均偏移值确定所述位置的坐标。
6.根据权利要求5所述的方法，其中，基于与所述帧相关的信息修改所述产品放置内容包括：
相对于所述帧中的经定位的所述一个或多个对象缩放和旋转所述产品放置内容；以及
基于指示所述帧中的一个或多个照明源和来自每个照明源的光方向的发光信息来照亮所述产品放置内容。
7.根据权利要求1所述的方法，还包括：
向管理与所述产品放置相关联的广告收益共享的服务器报告所述产品放置。
8.如权利要求2所述的方法，
其中，基于与所述帧相关的信息修改所述产品放置内容包括：
获得与以下中的至少一个相关联的上下文信息：所述显示装置的观看者、所述观看者的环境、所述显示装置、时间、日期、位置、由连接到所述显示装置的一个或多个其他装置捕获的信息或其组合；以及
基于所述上下文信息修改所述产品放置内容。
9.根据权利要求1所述的方法，还包括：
检测观看者与所述产品放置的观看者交互，其中所述观看者交互包括观看者反馈或观看者印象中的至少一个；以及
基于所述观看者交互来调用动作，其中所述动作包括以下中的至少一个：从在线网站购买所述产品、禁用所述产品放置、对所述产品放置进行评级、重新定向到其他内容或其组合。
10.根据权利要求3所述的方法，还包括：
基于所述产品放置配置文件来识别所述产品与所述帧中存在的对象之间的交互机会；
确定所述产品的和所述帧中存在的所述对象的姿势模型；以及
通过操纵所述姿势模型来生成所述产品与所述帧中存在的所述对象之间的交互动作。
11.根据权利要求1所述的方法，其中，所述产品放置内容包括与所述产品有关的视觉内容和音频内容中的至少一个。
12.用于提供产品放置的显示装置，所述显示装置包括：
至少一个处理器；以及
非暂时性处理器可读存储器，所述存储器存储指令，所述指令在被所述至少一个处理器执行时使得所述至少一个处理器执行操作，
其中，所述至少一个处理器被进一步配置成操作根据权利要求1至11所述的方法中的一个。
13.一种用于生成产品放置的方法，所述方法包括：
在训练阶段：
基于具有自然出现的产品的一个或多个视觉内容段来生成所述产品的产品放置配置文件，其中，所述产品放置配置文件包括所述产品的产品放置内容和用于将所述产品放置内容插入视觉内容中的一个或多个放置指导；以及
向显示装置发送所述产品放置配置文件，以允许所述显示装置基于所述产品放置配置文件来在内容段的回放期间将所述产品的产品放置动态地插入所述内容段中。
14.根据权利要求13所述的方法，其中，生成所述产品的产品放置配置文件包括：
训练对象检测器模型，以基于第一组训练数据来检测视觉内容中的所述产品，所述第一组训练数据包括自然出现所述产品的一个或多个视觉内容段；
训练对象定位模型，以基于第二组训练数据来确定视觉内容中的所述产品的定位边界框，所述第二组训练数据包括一个或多个视觉内容段，所述视觉内容段包括对随机插入的所述产品的视觉表示；以及
训练统计模型，以基于所述第一组训练数据中所述产品同与所述产品共同出现的一个或多个对象的一个或多个空间关系来确定在视觉内容中所述产品相对于同一视觉内容中的一个或多个其他对象的正常放置。
15.用于生成产品放置的服务器，所述服务器包括：
至少一个处理器；以及
非暂时性处理器可读存储器，所述存储器存储指令，所述指令在被所述至少一个处理器执行时使得所述至少一个处理器执行操作，
其中，所述至少一个处理器被进一步配置成操作根据权利要求13至14所述的方法中的一个。
CN201880033285.5A 2016-07-11 2018-06-05 用于提供产品放置的方法和设备 Pending CN110663044A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662360603P 2016-07-11 2016-07-11
US15/616,290 2017-06-07
US15/616,290 US10726443B2 (en) 2016-07-11 2017-06-07 Deep product placement
PCT/KR2018/006420 WO2018226021A1 (en) 2016-07-11 2018-06-05 Method and apparatus for providing product placement

Publications (1)

Publication Number Publication Date
CN110663044A true CN110663044A (zh) 2020-01-07

Family

ID=60911251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880033285.5A Pending CN110663044A (zh) 2016-07-11 2018-06-05 用于提供产品放置的方法和设备

Country Status (4)

Country Link
US (1) US10726443B2 (zh)
EP (1) EP3590255A4 (zh)
CN (1) CN110663044A (zh)
WO (1) WO2018226021A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
US10575067B2 (en) 2017-01-04 2020-02-25 Samsung Electronics Co., Ltd. Context based augmented advertisement
US11682045B2 (en) 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects
US11094121B2 (en) * 2018-03-23 2021-08-17 Current Lighting Solutions, Llc Mobile application for signage design solution using augmented reality
WO2020092128A1 (en) * 2018-10-30 2020-05-07 Maycas Technology Limited Systems and methods for enhancing live audience experience on electronic device
US11798210B2 (en) * 2020-12-09 2023-10-24 Salesforce, Inc. Neural network based detection of image space suitable for overlaying media content
US11890544B2 (en) * 2020-12-30 2024-02-06 Blizzard Entertainment, Inc. Prop placement with machine learning
US11657511B2 (en) 2021-01-29 2023-05-23 Salesforce, Inc. Heuristics-based detection of image space suitable for overlaying media content
US12041278B1 (en) * 2022-06-29 2024-07-16 Amazon Technologies, Inc. Computer-implemented methods of an automated framework for virtual product placement in video frames

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015047246A1 (en) * 2013-09-25 2015-04-02 Intel Corporation Dynamic product placement in media content

Family Cites Families (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7168084B1 (en) 1992-12-09 2007-01-23 Sedna Patent Services, Llc Method and apparatus for targeting virtual objects
US6100925A (en) 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US6403597B1 (en) 1997-10-28 2002-06-11 Vivus, Inc. Administration of phosphodiesterase inhibitors for the treatment of premature ejaculation
US6121532A (en) 1998-01-28 2000-09-19 Kay; Stephen R. Method and apparatus for creating a melodic repeated effect
US7073129B1 (en) 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US7096487B1 (en) 1999-10-27 2006-08-22 Sedna Patent Services, Llc Apparatus and method for combining realtime and non-realtime encoded content
US8527345B2 (en) 2000-01-06 2013-09-03 Anthony Richard Rothschild System and method for adding an advertisement to a personal communication
WO2002037828A2 (en) 2000-11-06 2002-05-10 Excite@Home Integrated in-stream video ad serving
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
JP4366023B2 (ja) 2001-03-16 2009-11-18 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法
US20030028432A1 (en) 2001-08-01 2003-02-06 Vidius Inc. Method for the customization of commercial product placement advertisements in digital media
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8220020B2 (en) 2003-09-30 2012-07-10 Sharp Laboratories Of America, Inc. Systems and methods for enhanced display and navigation of streaming video
US20060173743A1 (en) 2005-02-02 2006-08-03 Bollay Denison W Method of realtime allocation of space in digital media based on an advertiser's expected return on investment, ad placement score, and a publisher score
US20080109306A1 (en) 2005-06-15 2008-05-08 Maigret Robert J Media marketplaces
WO2007109541A2 (en) 2006-03-16 2007-09-27 Brubaker Curtis M System and method for obtaining revenue through the display of hyper-relevant advertising on moving objects
US20070124762A1 (en) 2005-11-30 2007-05-31 Microsoft Corporation Selective advertisement display for multimedia content
US8386317B2 (en) 2007-07-23 2013-02-26 Say Media, Inc. Full page video advertisement
US8413182B2 (en) 2006-08-04 2013-04-02 Aol Inc. Mechanism for rendering advertising objects into featured content
US7994930B2 (en) * 2006-10-30 2011-08-09 Sony Ericsson Mobile Communications Ab Product placement
US20080126226A1 (en) 2006-11-23 2008-05-29 Mirriad Limited Process and apparatus for advertising component placement
US20080172293A1 (en) * 2006-12-28 2008-07-17 Yahoo! Inc. Optimization framework for association of advertisements with sequential media
US7739596B2 (en) 2007-04-06 2010-06-15 Yahoo! Inc. Method and system for displaying contextual advertisements with media
US20090094113A1 (en) 2007-09-07 2009-04-09 Digitalsmiths Corporation Systems and Methods For Using Video Metadata to Associate Advertisements Therewith
US8416247B2 (en) 2007-10-09 2013-04-09 Sony Computer Entertaiment America Inc. Increasing the number of advertising impressions in an interactive environment
US8655718B2 (en) 2007-12-18 2014-02-18 Yahoo! Inc. Methods for augmenting user-generated content using a monetizable feature
WO2009082784A1 (en) 2008-01-03 2009-07-09 Colin Simon Content management and delivery method, system and apparatus
US7882087B2 (en) 2008-01-15 2011-02-01 At&T Intellectual Property I, L.P. Complex dependencies for efficient data warehouse updates
US8812487B2 (en) 2008-03-06 2014-08-19 Cisco Technology, Inc. Addition and processing of continuous SQL queries in a streaming relational database management system
WO2012047672A1 (en) 2010-09-27 2012-04-12 Hulu Llc Method and apparatus for providing user control of advertising breaks associated with a media program
JP5198929B2 (ja) 2008-04-25 2013-05-15 株式会社日立製作所 ストリームデータ処理方法及び計算機システム
US20170178156A1 (en) * 2008-05-07 2017-06-22 Google Inc. Measuring participant perceptions
US8477246B2 (en) 2008-07-11 2013-07-02 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for augmenting video content
US9078048B1 (en) 2008-07-15 2015-07-07 Google Inc. Finding and populating spatial ad surfaces in video
US8769149B2 (en) 2008-08-08 2014-07-01 Disney Enterprises, Inc. System and method for real-time location-based advertisement insertion into online content
US20110184805A1 (en) 2008-09-25 2011-07-28 Tictacti Ltd. System and method for precision placement of in-game dynamic advertising in computer games
WO2010034742A1 (en) 2008-09-25 2010-04-01 Biosystems International Sas Methods of detecting and treating pulmonary disease and markers thereof
US20100088716A1 (en) 2008-10-02 2010-04-08 Softhills Corporation Content slots for digital media
US8214370B1 (en) 2009-03-26 2012-07-03 Crossbow Technology, Inc. Data pre-processing and indexing for efficient retrieval and enhanced presentation
US20120100915A1 (en) 2009-06-25 2012-04-26 Tictacti Ltd. System and method for ad placement in video game content
US8121618B2 (en) 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US20110153414A1 (en) 2009-12-23 2011-06-23 Jon Elvekrog Method and system for dynamic advertising based on user actions
US9361631B2 (en) 2010-01-06 2016-06-07 Ghostery, Inc. Managing and monitoring digital advertising
EP2531969A4 (en) 2010-02-01 2013-12-04 Jumptap Inc INTEGRATED ADVERTISING SYSTEM
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8805963B2 (en) 2010-04-01 2014-08-12 Apple Inc. Real-time or near real-time streaming
US8799062B1 (en) 2010-05-28 2014-08-05 MaxPoint Interactive, Inc. System for improving shape-based targeting by using interest level data
US20120011540A1 (en) 2010-07-07 2012-01-12 Pulford James T System & method for implementing an interactive media kiosk network
KR101206264B1 (ko) 2010-09-07 2012-12-05 지만석 증강현실 게임에서 광고 제공 방법
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9280850B2 (en) 2010-11-08 2016-03-08 Sony Corporation Augmented reality system for communicating tagged video and data on a network
US20120167133A1 (en) 2010-12-23 2012-06-28 Carroll John W Dynamic content insertion using content signatures
US8922617B2 (en) 2010-12-23 2014-12-30 Citrix Systems, Inc. Systems, methods, and devices for time-shifting playback of a live online meeting
EP3654147A1 (en) 2011-03-29 2020-05-20 QUALCOMM Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
US10217117B2 (en) 2011-09-15 2019-02-26 Stephan HEATH System and method for social networking interactions using online consumer browsing behavior, buying patterns, advertisements and affiliate advertising, for promotions, online coupons, mobile services, products, goods and services, entertainment and auctions, with geospatial mapping technology
US9009083B1 (en) * 2012-02-15 2015-04-14 Google Inc. Mechanism for automatic quantification of multimedia production quality
US20130293530A1 (en) 2012-05-04 2013-11-07 Kathryn Stone Perez Product augmentation and advertising in see through displays
US9349053B2 (en) 2012-05-14 2016-05-24 In Situ Media Corporation Method and system of identifying non-distinctive images/objects in a digital video and tracking such images/objects using temporal and spatial queues
US8682925B1 (en) 2013-01-31 2014-03-25 Splunk Inc. Distributed high performance analytics store
US20140013342A1 (en) 2012-07-05 2014-01-09 Comcast Cable Communications, Llc Media Content Redirection
US8949889B1 (en) 2012-07-09 2015-02-03 Amazon Technologies, Inc. Product placement in content
US20140052540A1 (en) 2012-08-20 2014-02-20 Giridhar Rajaram Providing content using inferred topics extracted from communications in a social networking system
US9224156B2 (en) 2012-09-19 2015-12-29 Adobe Systems Incorporated Personalizing video content for Internet video streaming
WO2014085681A2 (en) 2012-11-27 2014-06-05 Inkwhy, Incorporated Embeddable advertisements
US10091556B1 (en) 2012-12-12 2018-10-02 Imdb.Com, Inc. Relating items to objects detected in media
US9317972B2 (en) 2012-12-18 2016-04-19 Qualcomm Incorporated User interface for augmented reality enabled devices
US10163049B2 (en) 2013-03-08 2018-12-25 Microsoft Technology Licensing, Llc Inconspicuous tag for generating augmented reality experiences
US8910201B1 (en) * 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content
US10331631B2 (en) 2013-03-15 2019-06-25 Factual Inc. Apparatus, systems, and methods for analyzing characteristics of entities of interest
US20150082203A1 (en) 2013-07-08 2015-03-19 Truestream Kk Real-time analytics, collaboration, from multiple video sources
US8812956B1 (en) 2013-09-13 2014-08-19 Magnify Networks, Inc. Video curation platform with pre-roll advertisements for discovered content
US20150081452A1 (en) 2013-09-13 2015-03-19 Kevin Edward ANTHONY System and method for interactive multimedia placement
US9799036B2 (en) 2013-10-10 2017-10-24 Elwha Llc Devices, methods, and systems for managing representations of entities through use of privacy indicators
KR101519047B1 (ko) 2013-10-16 2015-05-12 한양대학교 에리카산학협력단 영상 처리 방법
US20140136337A1 (en) 2013-10-18 2014-05-15 Zenovia Digital Exchange Corporation Systems and Methods for Self-Monitoring Ad Tags that Solicit Real-Time Advertising Bids
EP2876890A1 (en) 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US20150172563A1 (en) 2013-12-18 2015-06-18 Gabriel Jakobson Incorporating advertising content into a digital video
AU2013273829A1 (en) 2013-12-23 2015-07-09 Canon Kabushiki Kaisha Time constrained augmented reality
US20150199995A1 (en) * 2014-01-10 2015-07-16 ModCon IP LLC Modular content generation, modification, and delivery system
US10013710B2 (en) * 2014-04-17 2018-07-03 Ebay Inc. Fashion preference analysis
US9177225B1 (en) 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
WO2016028813A1 (en) 2014-08-18 2016-02-25 Groopic, Inc. Dynamically targeted ad augmentation in video
US10007690B2 (en) 2014-09-26 2018-06-26 International Business Machines Corporation Data ingestion stager for time series database
US9872081B2 (en) 2014-10-20 2018-01-16 Nbcuniversal Media, Llc Digital content spatial replacement system and method
WO2016109056A1 (en) 2014-12-31 2016-07-07 Ebay, Inc. Dynamic product placement based on perceived value
US20170374398A1 (en) * 2016-06-23 2017-12-28 Bindu Rama Rao Computing infrastructure for movie making and product placements
US10575067B2 (en) 2017-01-04 2020-02-25 Samsung Electronics Co., Ltd. Context based augmented advertisement
US11682045B2 (en) 2017-06-28 2023-06-20 Samsung Electronics Co., Ltd. Augmented reality advertisements on objects

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015047246A1 (en) * 2013-09-25 2015-04-02 Intel Corporation Dynamic product placement in media content

Also Published As

Publication number Publication date
US20180013977A1 (en) 2018-01-11
US10726443B2 (en) 2020-07-28
EP3590255A1 (en) 2020-01-08
WO2018226021A1 (en) 2018-12-13
EP3590255A4 (en) 2020-03-18

Similar Documents

Publication Publication Date Title
US10726443B2 (en) Deep product placement
US11741328B2 (en) Dynamic embedding of machine-readable codes within video and digital media
US8745657B2 (en) Inserting interactive objects into video content
US20160050465A1 (en) Dynamically targeted ad augmentation in video
US10575067B2 (en) Context based augmented advertisement
US8910201B1 (en) Product placement in digital content
US9922681B2 (en) Techniques for adding interactive features to videos
US20170201808A1 (en) System and method of broadcast ar layer
US9224156B2 (en) Personalizing video content for Internet video streaming
US8739041B2 (en) Extensible video insertion control
JP2016054490A (ja) カメラ対応装置を用いた背景シーンにおけるビデオディスプレイからのビデオ信号の検出、インデックス作成、及び比較のための装置、システム、方法、及び媒体
TWI605712B (zh) 互動式媒體系統
US10327026B1 (en) Presenting content-specific video advertisements upon request
CN102346898A (zh) 自动定制广告生成系统
JP2016526813A (ja) メディアコンテンツの中への視覚広告コンテンツの適応的な埋め込み
Saeghe et al. Augmented reality and television: Dimensions and themes
US11854238B2 (en) Information insertion method, apparatus, and device, and computer storage medium
CN103997687A (zh) 用于向视频增加交互特征的技术
US9818044B2 (en) Content update suggestions
US20210383579A1 (en) Systems and methods for enhancing live audience experience on electronic device
Fradet et al. [poster] mr TV mozaik: A new mixed reality interactive TV experience
US12101529B1 (en) Client side augmented reality overlay
US12256110B2 (en) Methods and apparatus for three-dimensional dynamic augmented video streaming composition
WO2022236842A1 (zh) 一种广告置换或添加的处理方法及系统及装置
Alleaume et al. Matthieu Fradet Caroline Baillard Anthony Laurent Tao Luo Philippe Robert

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination