[go: up one dir, main page]

CN101438579A - 基于附加内容帧的视频内容的自适应再现 - Google Patents

基于附加内容帧的视频内容的自适应再现 Download PDF

Info

Publication number
CN101438579A
CN101438579A CNA2007800119894A CN200780011989A CN101438579A CN 101438579 A CN101438579 A CN 101438579A CN A2007800119894 A CNA2007800119894 A CN A2007800119894A CN 200780011989 A CN200780011989 A CN 200780011989A CN 101438579 A CN101438579 A CN 101438579A
Authority
CN
China
Prior art keywords
reproducer
content signal
reproduce
processor
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800119894A
Other languages
English (en)
Other versions
CN101438579B (zh
Inventor
B·G·B·巴伦布鲁格
L·J·维尔索文
M·J·W·默滕斯
M·A·克洛姆彭豪沃
F·J·德布鲁恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Vision Holding BV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101438579A publication Critical patent/CN101438579A/zh
Application granted granted Critical
Publication of CN101438579B publication Critical patent/CN101438579B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45455—Input to filtering algorithms, e.g. filtering a region of the image applied to a region of the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

用于再现内容的设备(500)和方法，包括分析内容信号的先前和/或后续时间位置，以便确定位置上与内容信号的当前部分的元素相关的元素。内容信号的当前部分被再现在诸如电视这样的主再现设备(530)上，而位置上与内容信号的当前部分的元素相关的元素同时被再现在副再现设备(540)上。在一个实施例中，以比内容信号的被再现的当前部分的更低的分辨率和/或更低的帧速率来再现在副再现设备(540)上再现的元素。在一个实施例中，以比内容信号的更低的分辨率来分析内容信号的先前和随后的时间部分中的至少一个。

Description

基于附加内容帧的视频内容的自适应再现
本系统涉及视频显示单元，这些视频显示单元具有环境照明效果，其中基于多个图像帧来调整环境光特性。
通过将内容的纵横比从所提供内容的纵横比改变成呈现(presentation)设备的纵横比来调整内容呈现的系统是已知的。纵横比通常是指诸如所再现的(rendered)图像的宽高比的图像轮廓。
例如，16:9的纵横比已经被广泛采用来作为用于高端电视机的标准显示器外形，不过大多数电视广播是按照4:3的纵横比传输的。同时，大量具有其它的纵横比(例如16:9、14:9等)的图像素材被提供，而该素材最终以4:3的纵横比显示在显示设备上。由于这种不匹配，通常会提供某种形式的纵横比转换。
在一种用于提供4:3到16:9转换的系统中，在所显示的内容的侧边添加黑条，从而提供了所谓的“邮筒(letterbox)”呈现。这种方法没有提供实际的16:9结果，而是通常被提供来消除由其它方法引入的图像失真。在一个替代的系统中，可以通过水平和垂直地伸展内容来放大图像(例如运动图像帧)，而这种系统导致内容顶部和底部信息的丢失。在另一个实施例中，内容可能只在水平方向被伸展，而这种系统导致所显示的内容中的物体失真，从而致使物体形状改变(例如圆形物体变成椭圆形的)。类似地，可以用不一致的缩放因子来水平伸展所显示的内容，从而使得在所显示图像的侧边上的物体比所显示图像中心的物体伸展得更多。这种系统为以很小的失真或者没有失真地显示的中央定位的物体而准备，而当这些物体从显示器的一部分(例如显示器的中央)移动到显示器的另一部分(例如显示器的边缘)时，物体将遭遇不同的缩放因子，这是因为它穿过可能非常分散的(distracting)显示器。作为16:9内容-比如运动画面内容出现、为电视呈现而被编辑的内容会使得上述问题恶化。通常，这种内容是被使用“摇摄-扫描”技术来提供的，其中，运动画面内容被从运动画面内容的一侧扫描到运动画面内容的另一侧，从而创建随后将被播送的4：3纵横比内容。在这种“摇摄-扫描”呈现中，物体不断地从显示器的一侧移动到另一侧。
通过引用方式被包括在此如同整体地陈述的、授予Klompenhouwer的美国专利公开物No.2003/0035482(“Klompenhouwer专利”)，描述了通过使用来自先前和/或随后图像的像素来扩展一个给定图像的系统。例如，对于所提供的具有移动到右侧的全局运动的运动图像，先前图像被使用来将像素填充到给定图像的左侧，而不会使得给定图像中描绘的物体失真。类似地，对于存储的内容或者在显示之前的某个时间可用的内容以及运动到右侧的全局运动，随后的图像可以被使用来将像素填充到给定图像的右侧。虽然这种系统比现有的解决方案提供了更自然的内容呈现，但是它没有做什么来增强超出显示设备的内容的呈现。
皇家飞利浦电子N.V.(飞利浦)以及其它公司已经公开了用于改变环境或者周围照明以便增强用于典型的家庭或者商业应用的视频内容。添加到视频显示器或者电视机的环境照明已经被证明减少观众的疲劳并且提高体验的真实性和深度。目前，飞利浦有一系列电视，包括具有环境照明的平板电视，其中电视机周围的框架包括将环境光投射到支撑电视或者在电视附近的后墙上的环境光源。此外，与电视分开的光源还可以被使用来产生扩展超出电视机显示器的环境光。
通过引用方式被包括在此如同整体地陈述的PCT专利申请WO2004/006570公开了一种用于基于所显示内容的颜色特性来控制环境照明效果的系统和设备，所述颜色特征例如是色调、饱和度、亮度、色彩、场景变化速度、被识别的人物、被检测的情绪等。在运行时，系统分析所接收的内容，并且可以使用在整个显示器上的内容的分布-比如平均色彩、或者使用位于靠近显示器边界附近的部分显示内容来控制环境照明单元。环境照明特性通常使用显示器自身的视频内容来在每帧的基础上产生环境照明效果，连同时间平均一起去平滑环境照明单元的瞬时转变(temporal transition)。在其它系统中，可以使用照明脚本来与当前描绘的图像配合以产生环境照明效果。虽然这种系统有效地扩大了所感知图像的尺寸，但是事实上，现有的环境照明系统通常只是扩大给定内容帧中提供的物体和场景。
本系统的一个目的是克服现有技术的缺点，改善环境照明效果以便有助于身临其境的观看体验。
本系统提供了用于再现内容的设备和方法。该设备和方法包括分析内容信号的先前和/或随后的时间部分，以便确定在位置上与内容信号的当前部分的元素(element)相关的元素。内容信号的当前部分被再现在诸如电视的主(primary)再现设备上，而在位置上与内容信号的当前部分的元素相关的元素被同时再现在副(secondary)再现设备上。在一个实施例中，再现在副再现设备上的元素可被以低于内容信号被再现的当前部分的分辨率来再现。在一个实施例中，内容信号的先前和随后的时间部分中的至少一个可被以低于内容信号的分辨率来分析。
可以以变化的分辨率来再现在副再现设备上再现的元素，其中基于所再现的元素相对于在主再现设备上再现的内容信号的位置来确定所述变化。在另一个实施例中，可以以基于所再现的元素相对于在主再现设备上再现的内容信号的位置而确定的分辨率来在副再现设备上再现元素。可以以基于所再现的元素相对于在主再现设备上再现的内容信号的时间位置而确定的分辨率来再现在副再现设备上再现的元素。
可以使用诸如环境体验数据(AMBX)和补充增强信息(SEI)等与所确定的元素相关的辅助数据来再现在副再现设备上再现的元素。辅助数据可以与内容信号相关联，比如与内容信号一起播送或者与内容信号一起存储。这样，在主再现设备地点处的处理需求可以被减少，并且/或者与所再现的元素相关的更准确的信息可以被提供。辅助数据还可以提供信息以帮助确定特征和/或物体在副显示器上的定位。
在一个实施例中，副再现设备可以是环境照明再现设备，元素可以被再现为环境照明元素。在同一个或者替代实施例中，副再现设备可以是一个或多个外围再现设备(例如显示器)并且元素可以被再现为外围图像元素。如这里所使用的，外围再现设备/显示器旨在描述一种在主再现设备附近的再现设备/显示器。所确定的元素可以被基于副再现设备相对于主再现设备的位置来确定。副再现设备可以包括多个副显示器。所确定的元素可以被基于每个副再现设备相对于主再现设备的位置而被确定。所确定的元素可以被基于诸如环境体验数据(AMBX)和补充增强信息(SEI)等与内容相关联的辅助数据而被确定。
副再现设备可以包括两个或更多个副再现设备，这些副再现设备中的一个位于主再现设备的一侧(例如之上、之下、左侧、右侧)，这些副再现设备中的另一个位于主再现设备的另一侧。在一个实施例中，可以分析内容信号的先前和随后的时间部分中的每一个来例如为位于主再现设备左侧和右侧的副再现设备确定元素。在一个实施例中，在副再现设备上再现的元素可以以比在主再现设备上再现的内容信号慢的帧速率而被再现。
下面描述说明性的实施例，这些实施例将连同附图一起来说明上面提及的以及更多的特征和优点。在下面的描述中，为了解释而不是限制，提出了诸如特定架构、接口、技术等的具体细节，用于进行说明。不过，对于本领域技术人员来说明显的是，偏离这些具体细节的其它实施例仍应当被理解为在所附权利要求的范围之内。此外，为了清楚起见，省略了对于众所周知的设备、电路和方法的详细描述，以免使得本系统的描述不清楚。
应当清楚地理解附图被包括是用于说明而不是表达本系统的范围。在附图中，不同的图中相似的参考数字表示相似的元件。
图1表示根据本系统的一个实施例，被配置来增强显示器的观看体验的实施例；
图2表示根据本系统的一个实施例的系统的正视图；
图3表示说明根据本发明的一个实施例使用环境照明源的环境照明系统的细节的俯视图；
图4表示根据本系统的一个实施例的示例性的身临其境的外围照明系统；以及
图5表示根据本系统的一个实施例的系统。
图1表示本系统的实施例100，该系统被配置来通过在诸如4:3纵横比的显示区域的正常观看区域外创建光图案(light pattern)120A、120B来增强显示器110的观看体验。在这个实施例中，这种增加的内容不是简单地从屏幕或其一些部分上显示的当前视频内容得出的，例如象可以通过计算当前视频帧到当前视频图像外部区域的扩展而应用到现有的环境照明特性中的。在所示出的实施例中，在4:3纵横比图像中提供的视频内容(例如视频内容的显示帧)的当前再现被通过从视频内容的现有和/或随后帧(先于或者相继于当前帧)得出的扩展图像(例如光图案120A、120B中的一个或多个)来扩展。视频内容的现有和/或随后帧可以包括一个或多个现有和/或随后的视频帧。在一个实施例中，只有现有和/或随后视频帧的一部分(例如，通常是诸如特征、物体和/或元素)可以被分析。例如，先前帧的背景特征可以被分析而无需检查整个先前帧。在一个实施例中，可以分析两个或多个帧部分。根据本系统，可以使用例如两个连续的先前帧部分或者一个先前部分和一个当前帧部分。在另一个实施例中，当两个帧部分(例如包括先前帧或随后帧部分中的至少一个)被分析以便确定光图案(例如光图案120A)时，这些帧部分不需要是时间连续的，不过在一个实施例中，这些帧部分可以是时间连续的。根据本系统，可以通过环境照明特性来提供扩展区域130A、130B中的一个或多个，诸如可以通过将一个或多个环境照明图像再现(例如投射)到墙上来提供扩展区域130A、130B中的一个或多个，该墙从显示器110观看者的观点看是位于显示器110后面的。当然，可以通过固定于显示器110的一个或多个再现设备和/或由一个或多个再现设备(例如投影仪)、或者与显示器110分开的并且有能力来再现(显示和/或投射)光图案120A、120B中的一个或多个的其它设备来提供光图案120A、120B中的一个或多个。在一个实施例中，可以由一个或多个显示设备来提供光图案120A、120B中的一个或多个。例如，可以由作为环境照明元件操作的两个或多个显示设备来提供光图案120A。类似地，可以由作为环境照明元件操作的两个或者多个显示设备来提供光图案120B。
在根据本系统的一个实施例中，光图案120A、120B中的一个或多个被以低于所呈现的帧的分辨率提供在显示器110上。例如，扩展区域130A、130B中的一个或多个可以由每个扩展区域的20×40像素分辨率来提供。当然，在其它实施例中，可以提供或多或少的分辨率，应该懂得更高的分辨率通常需要比提供较低分辨率光图案所要求的更多的处理来辨别光图案。
例如，根据本系统，帧的全局和/或局部运动矢量和/或帧(例如在前的和/或后续的帧)中描绘的物体可以被确定来根据本系统使用，和/或可以被确定为系统的其它部分的副产品-诸如可以在运动图像专家组(MPEG)图像处理期间被使用。对于一个视频图像-其具有在显示器110(例如目标140)中提供的图像的(例如像素的背景/优先级的)全局运动矢量或者当显示器110上提供的视频帧在时间上推进时向右移动的物体的局部运动矢量，可以从当前在显示器110上示出的帧前面的、视频内容的一个或多个帧中辨别光图案120A。帧(全局)和/或物体(局部)的运动矢量的尺寸和扩展区域130A中提供的光图案120A的宽度可以被用来确定检查多少先前帧以便确定光图案120A，这是很容易理解的。在根据本系统的一个实施例中，对于较大的运动矢量，可以使用较少的先前帧(例如一个或多个先前帧)来辨别光图案120A，不过在另一个实施例中，可以检查相同数量的先前帧，而不管运动矢量的尺寸。例如，在一个实施例中，当运动矢量更大时，可以在扩展区域130A中提供更大的分辨率。
类似地，在一个视频图像中-其具有在显示器110中提供的图像的全局运动矢量或者当显示器110上提供的视频帧在时间上推进时向右侧移动的物体(诸如所描绘的演员150)的局部运动矢量，可以从继续当前在显示器110上示出的帧的、视频内容的一个或多个帧中辨别光图案120B。当视频内容的帧在被呈现在显示器110上之前的某个时间可用时，诸如当内容被本地存储和/或在呈现在显示器110上之前被缓冲达某个时间时，有助于这一处理。可以使用帧(全局)和/或物体(局部)的运动矢量的尺寸以及在扩展区域130B中提供的分辨率的宽度来确定检查多少相继的帧以便确定光图案120B，这是很容易理解的。在根据本系统的一个实施例中，对于较大的运动矢量，可以使用较少的相继的帧(例如一个或多个相继的帧)来辨别光图案120B，而在另一个实施例中，可以检查相同数量的相继的帧，而不管运动矢量的尺寸。例如，在一个实施例中，当运动矢量较大时，可以在扩展区域130B中提供更大的分辨率。
当然，如果全局和/局部运动矢量正向左移动，则可以使用一个或多个前面的帧来辨别扩展区域130B中描述的光图案120B。类似地，对于向左移动的全局和/或局部运动矢量，可以使用一个或多个相继的帧来辨别扩展区域130A中描绘的光图案120A。
在这种类型的实施例中，可以基于所确定的运动矢量的大小来动态确定扩展区域130、130B中的一个或多个中提供的分辨率。容易理解的是，扩展区域130A、130B中示出的图像的精确性会降低，这是因为用于得出光图案120A、120B的帧在时间上变得更远离显示器110上显示的数据帧。此外，扩展区域130A、130B中示出的图像部分的精确性会降低，这是因为用于得出光图案120A、120B的帧的图像部分在物理上变得远离显示器110上显示的数据帧中示出的当前图像部分。换句话说，光图案120A、120B扩展得越远，由此扩展由显示器110上当前显示的帧与扩展区域130A、130B上正显示的光图案120A、120B一起组成的“完整图像”，那么扩展区域130A、130B的远程区域的精确性就会降低。因此，术语“物理上和位置上远程”旨在包括就完整图像而言位置上更远离当前显示在显示器110上的帧的物体、和/或更远离显示设备110产生的光图案120A、120B，这是因为可以使用完整图像内的接近度和对于显示器110的接近度中的一个或者这二者来确定扩展区域130A、130B内再现的内容。为了在某些情况下补偿这种事件，扩展区域130A、130B的物理上和/或时间上的远程区域的分辨率会降低，这是因为扩展区域130A、130B在物理上和/或时间上变得更远离显示器110上再现的图像。
在根据本系统的一个实施例中，诸如那些在Klompenhouwer专利中应用的自然运动技术可以被使用来在时间上预测：在显示器110上再现的视频帧之外什么是可见的。自然运动会跟踪场景中的物体，并且因此当物体移动离开屏幕(例如超出显示器110)时，推断帧外的物体运动。这样，就可以使用已经被提供的计算来确定提供给扩展区域130A、130B的内容，以使得能够平滑自然运动图像。
由于在一个实施例中，扩展区域中提供的图像可能分辨率低，因此有些模糊，较低的分辨率可以被提供在远程区域(如上所述)中以平衡为了想隐藏可能的推断的伪像(artifact)而提供的大量细节。在一个实施例中，以低分辨率执行图像/物体的跟踪、从而跟踪大物体的模糊版本或者所谓的物体斑点(blob)可能就足够了。可以以低的计算复杂度来执行物体斑点的跟踪，因为这可以在视频内容的缩减版本上被执行。例如，显示器110上显示的视频内容中的红色小汽车(当它移动离开屏幕时)可以作为扩展区域中的红色斑点继续。所以辅助显示器上的数据没必要是来自用于主显示器的图像当前环境的投影的准确低分辨率版本，而是对于物体和用于背景的全局构造的颜色轮廓，可以像比拟物体的一般形状(例如椭圆形状)的斑点形状那样简单(在足球场的例子中，对于较低的一半可以是倾斜的绿草地，以及对于上半部观众是暗淡的、可能统计上构造成的浅灰色区域，上面可以叠加低分辨率的颜色梯度，如果那是实际上近似存在于成像的观众背景中的话)。注意，对于下面将更详细描述的外围显示器来说，(透视)变形是可允许的，这是因为视觉是不敏锐的，可能只需要身临其境的感觉而已。因此，容易理解的是，在外围显示器中提供的扩展区域和/或图像中，透视变形的确定可以被应用到光图案(例如，特征、物体、背景等)，通常被称作元素。在一个实施例中，背景元素可以没有透视变形地被呈现，而前景元素(例如汽车、演员等)则在确定元素以提供透视之后被变形(例如沿着由显示器110开始的一个角度伸展元素并且从那里向外发出(emanate))。
在一个实施例中，其中自然运动方案与光图案120A、120B的低分辨率组合，人们可以观察到已移动离开屏幕的物体已经出现在过去的视频帧中/将出现在未来的视频帧中，因此示出这种离开屏幕的物体类似于示出过去的/未来的图像内容，或者在一个实施例中，示出至少这样的孤立的内容/元素的简化近似/模型。因此一种非常低成本的实现是可能的，其中全局运动模型估算全局运动(从而实现跟踪)，它确定应该取出在过去(或者将来)中多远的图像以便让扩展图像130A、130B中提供的图像基于它们。在这种情况下，确定扩展图像等同于延迟(或者前移)扩展图像(在很低分辨率的情况下是色彩)，因为它们可以通过现有的环境照明系统被计算，其中可以通过由全局运动估计器进行的跟踪来确定延迟/提前量。通过缓存扩展图像而不是原始视频，需要很少的缓冲，并且可以在基本上不增加现有系统成本的情况下实现这种特征。
根据本系统的实施例，有利的可能是区分前景(例如前景物体252)和背景(例如背景物体254)物体、场景、或者通常是特征(例如利用诸如基于运动和闭塞(occlusion)的前景/背景检测算法，尽管可能容易地应用其它的合适的系统)，以便分开地对那些进行跟踪，并且例如只基于前景或背景特征之一来计算扩展。在另一个实施例中，三维(3D)信息(例如，根据MPEG-C第三部分标准，以作为额外层传输的深度图形式)的存在可能有助于识别特征，这些特征是前景和背景，因此这些特征可以更容易地被跟踪并且被正确地定位在扩展区域中。
根据一个实施例，可以由主显示器硬件来执行扩展区域的处理，其中所得到的扩展光图案被传送给用于显示扩展光图案的任意的副显示器区域(例如，显示表面、显示器等)。在另一个实施例中，与主显示器相同的视频流可以被馈送给用于扩展区域的一个或多个处理器，其中一个或多个处理器中的每一个执行分析(或者它需要的部分)，从而确定其自己用于再现的部分。在一个实施例中，系统的一种特定划分可以使跟踪和预测部分完全与显示器分开(例如在内容创建侧)，从而扩展光图案(例如被参数化以允许扩展视觉化的不同大小和形状)与视频内容一起、例如以环境体验(AMBX)信息(例如脚本、软件引擎、架构等)的形式和/或以高级视频编码(AVC)标准中的补充增强信息(SEI)的形式传输。
若干种系统和/或方法可以被用于将扩展图像区域投射/提供到主显示器的环境中。虽然这里描述了特定的实施例，但是本领域普通技术人员很容易理解，也可以设想出其它同样落在本系统范围内的实施例。
在根据本系统的一个或多个实施例中，环境再现系统的一些部分可以构建到使用现有环境照明硬件的主显示器(例如主显示器的框(bezel))中，或者使用例如微型投影仪将现有硬件向更高分辨率扩展。
在一个实施例中，通过显示在主显示区域中当前提供的图像的恰当扩展(例如代替类似图像侧的当前色彩的色彩)，只有先前描述的处理需要被添加到现有环境照明电视中来实现本系统。应当指出，本系统和现有环境照明方案略微不同地跟踪物体，因而在环境照明区域中提供不同的内容。在红色物体显示在绿色背景的情况下，当红色物体在现有环境照明电视上移动到屏幕外时，一旦红色物体移动到屏幕外，环境照明就将变绿。在根据本系统的一个实施例中，对应的环境照明效果(例如在扩展区域130A、130B之一中产生的)可以往后保持红色一会儿，从而表示红色物体移动超出主屏幕边界，这依赖于例如物体上次已知的运动、它移动到屏幕外之后为帧估算的全局运动和/或从基于物体的运动估计器获得的速度，这在例如通过引用方式被包括在此如同整体地陈述的下列文章中提供：2001年8月的IEEE Transactionson Consumer Electronics(IEEE消费型电子设备期刊)，第559-567页中公开的、R.B.Wittebrood和G.de Haan的“Real-Time RecursiveMotion Segmentation of Video Data on a Programmable Device(可编程设备上视频数据的实时递归运动分段)”。根据本系统，示出该屏幕(例如显示器110)外图像/色彩的时间可以依赖于物体移动的速度(例如，相关运动矢量的大小，高速＝短持续时间)，而根据本系统的一个实施例，即使对于低的速度(例如物体的运动可能还没有将物体移动到扩展区域之外的速度)，这些色彩(例如可归于红色汽车的)也可能过一会儿会褪色成一种默认的颜色(例如背景颜色)。容易理解，在某些实施例中，本系统的褪色可能对于很快离开扩展区域的快速移动物体来说太慢了。
现有环境照明系统可能已经由多个光源组成(例如以便提高光输出，并且在不同侧产生不同的色彩)。通过个别地控制每个光源，并且例如添加透镜和/或散射体(系统)，低分辨率图像可以被投射到主显示器周围的环境中(例如显示器110的左、右、上和/或下面)。在进一步的实施例中，主显示器周围的天花板和/或地板也可以被显示器上存在的环境照明元件照亮和/或由远离主显示器的环境照明元件提供，诸如可以由专用的环境照明塔或组合的环境照明设备/扬声器提供。在一个实施例中，环境照明微型投影仪还可以采用分开的外设的形状(例如，可按照用户需求放置的独立微型投影仪箱)。可能容易理解的是，根据本系统，可以使用提供环境照明的其它系统。
图2示出了根据本系统的实施例的系统200的正视图。在一个实施例中，可以使用显示器210来提供低分辨率环境照明系统，所述显示器210可以是诸如基于液晶显示器(LCD)的显示器设备。在图2示出的实施例中，环境照明面板260A、260B中的一个或多个可以添加给显示器210。环境照明面板260A、260B可以作为外接附件被提供(例如在制造厂中被提供，或者由家庭用户例如经由总线和协议在买后(aftermarket)进行连接)。在一个实施例中，环境照明面板260A、260B可以包括诸如微型投影仪的环境光源250、个别的或者成组的发光二极管(LED)等。在一个实施例中，可以通过控制透镜/散射体系统240后面的LED的M×N阵列(例如RGB三元组)的单独的输出来提供构图的环境照明效果，该透镜/散射体系统240被提供来创建缩放的低分辨率图片。
在这个实施例中，环境光源250的输出是可配置的。例如，环境光源250可以被定位/重新定位以便选择环境光源照射的区域，例如可以由定位在显示器210后面/周围的墙或者被定位的反射屏来提供。在一个实施例中，还可以根据在显示器210与壁角之间形成的角度来手动和/或自动地调整透镜240来用于墙的投射。例如，在一个实施例中，微型投影仪可以被操作来附加到显示器上以便绕着垂直线可旋转。在一个自动调整的实施例中，环境光面板260A、260B可以包含照相机和/或其它系统用来确定显示器210与上面提供有环境照明效果的表面之间构成的角度，从而自动调整环境光源250的角度，以便提供扩展区域230A、230B。
根据本系统的一个实施例，视频内容的背景部分可以被分割成同类的区域斑点，诸如物体斑点270(例如在相对均匀的蓝色背景上的树)。可以使用许多合适的分割算法，例如基于色彩和/或纹理。在一个实施例中，可以用诸如元数据和/或其它辅助数据的更高场景描述信息来指导分割模型。在另一个实施例中，这个近似背景图案可以在显示器210的任一侧被重复(例如作为低分辨率周期的或者统计组织的图案)，和/或通过在扩展区域230A、230B中的一个或二者中提供的给定环境照明效果的不同部分来重复。这样，可以例如只为扩展区域的一部分辨别特征和/或物体信息，并且例如可以以扩展区域230A、230B的规则的和/或不规则的间隔来重复所辨别的背景信息。根据一个实施例，SEI消息可以包括数据来通过识别背景和前景物体来指导分割，其可被用于提供分割指导以便获取合适的斑点。在另一个实施例中，分割可以被自动执行，这是因为周围的图像可以是相对低分辨率的图像。在另一个使用微型投影仪的实施例中，可以提供更高容量的环境照明成像。微型投影仪可以沿着环境照明面板260A、260B的实体部分延伸以便于所再现的图像/内容的扩展。
图3示出了说明根据本系统的一个实施例、使用环境光源350的环境照明系统300的细节的俯视图。举例来说，环境光源350可以包括一个或多个两维(2D，M×N)LED阵列或者可以包括一个或多个微型投影仪。正如从定位在显示器310前面的视点302所示出的，框312被提供，其实质上对观看者的有利位置(即视点302)隐藏了系统300的一些部分。诸如散射(微型)透镜的透镜(系统)340可以被提供来引导由环境光源350产生的散射的环境照明效果，被示出为辐射的环境光椎体342。在根据本系统的一个实施例中，可以例如是按照环境光源的每个像素列来产生辐射的光椎体。由环境光源350和透镜340的组合所产生的环境照明效果在所说明的实施例中从墙380反射开。当然，在另一个实施例中，环境光源350可以与显示器310分开被提供，例如由可操作地耦合到显示器310或者至少是耦合到显示在显示器310上的内容的源的单独投影设备或者微型投影设备来提供。
图4示出了根据本系统的一个实施例的说明性的身临其境的外围照明系统400。在示出的实施例中，说明性地示为外围显示器412A、412B、412C、412D的单独的副再现设备可以被使用来提供超出说明性地示为显示器410的主再现设备的多个扩展图像。在一个实施例中，单独的外围显示器412A、412B、412C、412D中的每一个可以由诸如单独的微型投影仪的单独的照明系统来照明，以便为用户提供身临其境的观看体验。在一个替代实施例中，外围显示器412A、412B、412C、412D中的一个或多个可以提供与投影系统无关的图像。单独的外围显示器412A、412B、412C、412D可以定位在一个观看者观看点(perspective)480周围，诸如在家庭健康方案中由健身自行车所提供的。在另一个实施例中，用户可被提供以身临其境的玩视频游戏的环境。
容易理解，虽然副再现设备被说明性地示为在主再现设备的左侧和右侧之间相等地间隔和分开，但是这纯粹是为了说明本系统而示出的。容易理解，副再现设备不需要对称地分布在主再现设备的左右。实际上，副再现设备可以以用户所希望的任何方式来定位和分散开。在另一个实施例中，副再现设备中的一个或多个可以定位在主再现设备的上面和/或下面。在同一个或者另一个实施例中，在主再现设备的一侧可以定位有比主再现设备的另一侧更多的副再现设备。如果希望的话，副再现设备可以被放置在主再现设备的一侧(上、下、左、右)，而主再现设备的另一侧被排除。根据本系统，还可以使用更多或者更少的副再现设备。
在所示出的实施例中，在主显示器(例如等离子体显示面板(PDP))上为用户提供内容(例如视频)，并且可以为外围显示器412A、412B、412C、412D提供、导出辅助内容等。在这个实施例中，由于外围显示器412A、412B、412C、412D将主要以用户的周边视觉观看，因此外围显示器412A、412B、412C、412D可以是相对低分辨率的，不过也可以提供更高分辨率的显示器，而所再现的内容应当(例如在位置上、时间上等)与主显示器上提供的内容相关。
在一个较小的房间中，外围显示器412A、412B、412C、412D可以固定到环绕观看者观看点的墙上。无论如何，外围显示器412A、412B、412C、412D都应当可操作地被定位(例如足够靠近观看者观看点480来定位)，以便为用户再现外围视图。在一个替代实施例中，外围显示器412A、412B、412C、412D可以固定到其中提供了身临其境的外围照明系统400的房间的天花板上。在一个实施例中，可以提供吊线板490以便于外围显示器412A、412B、412C、412D的定位。面板可以被永久地定位，或者也可以被配置来使得能够在外围显示器412A、412B、412C、412D不被使用时定位成不阻挡通过房间的交通。
根据一个实施例，可以例如通过使用钩子和紧固件附着系统(例如VelcroTM)来将外围显示器412A、412B、412C、412D附着在围绕观看者观看点480(例如围绕椅子或家庭教练器)的期望位置中，从而使得能简单附着/分离以及布置。在一个实施例中，可以为外围显示器412A、412B、412C、412D提供旋转机构，诸如外围显示器412C、412D上说明性地示出的旋转机构412C、412D。当然，可以按照需要将旋转机构隐藏在天花板中。在这个实施例中，旋转机构使得能够在不被需要时，将外围显示器412C、412D容易地卷起、不挡道，或者在希望使用外围显示器412C、412D时，使它们落下。在一个替代实施例中，可以利用诸如说明性地附于外围显示器412A、412B上的铰接机构416A、416B这样的铰接机构将外围显示器附于天花板上。在这个实施例中，铰接机构416A、416B使得外围显示器412A、412B在不被使用时朝向天花板旋转收起，或者当希望使用外围显示器412A、412B时，将它们旋转放下。当然，其它用于安置外围显示器412A、412B、412C、412D的系统也可以适当地被应用并且甚至当希望使用身临其境的外围照明系统400时可以被自动化。
根据这个实施例，身临其境的外围照明系统400可以分析显示器410上提供的内容(例如基于内容的先前和后续帧)并且产生基本上与内容的先前和/或后续帧中提供的特征和物体相一致的区域或者斑点。在根据本系统的一个实施例中，身临其境的环境照明系统400可能还分析当前内容、或者代替内容的其它帧来分析当前内容，以便确定恰当的特征和斑点。
例如，前景汽车物体450可以被分割(例如使用3D深度图，其它额外数据，和/或自动地从内容本身)并且可以作为沿一个或多个外围显示器的模糊斑点而继续其路径。此外，背景特征(例如车行道)和物体(例如树木)可以类似地被描绘在一个或多个外围显示器412A、412B、412C、412D上。例如，在一个用于产生外围图像信息的算法的简单变体中，经过/越过的树木可以由简单的低频时空光调制来仿效，从而与主要显示器图像中的树木信息(例如周期性)相关。(类似的系统可以被应用于环境元素。)在一个实施例中，作为进一步继续进入到用户的周边视觉中的特征和/或物体来提供的特征和/或物体的细节(例如分辨率)可能减少，以便降低对于确定特征和/或物体的分析需求，和/或减少不希望的图像伪像。例如，当汽车物体450从外围显示器412C继续进行到外围显示器412D时，汽车物体450可从汽车物体(例如按步骤或者逐渐)改变成汽车斑点，或者汽车物体图像的分辨率可简单地被降低。外围显示器412A、412B、412C、412D中的每一个提供的细节中的类似降低可以当特征和/或物体进一步移动到观看者的外围视野中时被降低(例如对于外围显示器412A、412B从右到左，对于外围显示器412C、412D从左到右)。在一个实施例中，可以使外围显示器412B、412C能够提供比外围显示器412A、412D高的分辨率。这样，比起外围显示器412B、412C所用的，可能可以将更便宜的显示器用于外围显示器412A、412D，从而使得能够降低身临其境的外围照明系统400的成本。
根据本发明的一个实施例，身临其境的外围照明系统400(和/或具有环境照明元件的环境照明系统)可以被提供以外围显示器412A、412B、412C、412D的细节，以使得能够正确地确定呈现在外围显示器412A、412B、412C、412D上的特征和/或物体。例如，在一个实施例中，与显示器410相比，外围显示器412A、412B、412C、412D的尺寸可以被提供用于确定在外围显示器412A、412B、412C、412D上描绘/再现的特征和/或物体(例如用于继续汽车450的路径)。还可以提供其它参数来使得能够确定恰当的特征和/或物体、定位和/或它(们)的分辨率。根据一个实施例，诸如显示器分辨率、最大刷新速率、通信耦合的形式(例如有线、无线、光等)的外围显示器的显示能力也可以被手动和/或自动传送到本系统以便使得能够操作。例如，对于所具有的最大刷新速率小于主显示器的刷新速率的外围显示器来说，外围显示器上提供的特征和/或物体的刷新速率可以适当地被调整以便为较低的刷新速率做准备。例如，可以对于在主显示器上更新的每两个或更多的帧只更新一次在外围显示器上提供的帧。类似的调整可以被提供用于环境照明效果。这可以有一个额外的好处，就是减少对于提供环境和/或外围效果的计算需求。
在一个实施例中，在其中辅助数据被提供的情况下(例如，AMBX、AVC的SEI等)，辅助数据可以被用于确定提供给副再现设备处的特征和/或物体。在这个实施例中，辅助数据可以减少在主显示器的位置的处理需求和/或可以被用于提供对于提供给副再现设备的特征和/或物体的精确确定。此外，辅助数据可以便于在外围显示器412A、412B、412C、412D上的特征、物体(例如详细的和/或斑点)的最佳定位，其可能是依赖于配置的。例如，在其中三个外围显示器被提供在任意一侧、在角度X上扩展的配置中，一个物体-诸如一条龙，如果它在中间的外围显示器、例如以特定的所确定角度(例如角度Y)被示出，或者大大“高于”用户被投射到天花板上，则可能看起来更可怕。对于同样的内容，在具有两个外围显示器的配置中，本系统的实施例可以例如使用辅助数据来得出：对于龙的最佳描绘是例如以角度Z在第二面(pane)上。
下面是辅助信号可如何通过参数来规定物体的位置的例子：
规则可以是例如：
在左侧可显示的扩展的中途(halfway)，或
更复杂的规则，规定在主显示器外面的百分比(例如，根据主显示器的尺寸和分辨率/平面形状，但是也根据什么能够被显示在侧面板上(和/或由环境照明系统)；和/或
一个或多个用于不同的副显示器配置的校正规则，例如，如果有三个侧面板存在和/或环绕用户的角度大于例如70或110度，则被确定为大约在中途的元素可以例如被重写到三分之二(例如以便放置在中间的侧面板上)。
在一个实施例中，局部的显示系统知道它的几何形状(例如面板布置、位置)，因为用户已经通过使用在本系统的一个实施例中提供的恰当用户接口、在经家中配置之后粗略地测量和输入了2米高和50厘米宽的显示区域、距离主显示器最左侧50厘米(或者系统自动配置，诸如面板经由所包含的定位装置将尺寸和位置信息传送到系统)。在另一个实施例中，系统可以包括用于识别面板的尺寸和/或位置信息的视觉系统。
然后，系统可以应用一个映射来将物体显示为接近轮廓(profile)(例如在创作侧由内容艺术家为了获得最大化影响而提供的)中所指示的。例如，系统可以计算：在给定时间t对于汽车物体，在中途定位是对应于在第一个左外围显示器上的像素位置(1250，999)。
当然，根据一个实施例，系统可以忽略或校正所建议的/所提供的轮廓并且应用局部轮廓和/或由用户提供的轮廓。
此外，尽管在一个简化的版本中，根据一个实施例的系统可能仅在最明显可提取的物体(例如经过前景物体/元素的一个大物体/元素)上使用这种定位，但是，当然可能将有任何复杂度和/或多种复杂度的指导数据与(例如被包括在广播信号中的)内容相关联，从连同某背景数据一起投射到外围的粗略框开始，到给定以特定方式从所有接收的图像中可提取什么的情况下有关物体应当如何显现的非常准确的描述，和/或包括辅助校正数据(例如，对于龙移动通过外围显示器时它喷出的火焰，甚至是在这种额外数据绝对不会在图像组中的情况下)。因此，辅助数据甚至可以补充可从内容(例如图像帧)中确定的数据，并且提供附加数据以便添加元素和/或补充到元素以便将另外的值添加到被使能来再现附加数据的系统。
在根据本系统的一个实施例中，辅助数据还可以包括视频数据或用于校正/改善预测的视频数据的数据。例如，根据本系统的一个实施例，背景树可以被非常简单地总结为亮-暗(例如绿色)过渡，从而简化模拟在树下开车的阴影波动图案所需要的处理。这种模拟可以通过跟踪图像的区域而被执行(例如基于分割统计)。
外围显示器的一个或多个可以从光子学纺织品(photonic textile)来制造，诸如用可从皇家飞利浦电子N.V.获得的LumaliveTM光子学纺织品来制造。光子学纺织品被配置来发出图像，诸如低分辨率图像，因此可以用作外围显示器中的一个或多个。在一个实施例中，光子学纺织品可以用作外围显示器的一个或多个，并且还可以用于其它用途。例如，当根据实施例的系统可操作时，位于房间中的用光子学纺织品制造的窗帘可以经由诸如网络连接(例如有线、无线、光等)的耦合来链接并且同步到主显示器(例如显示器410)。当系统没有在操作时，光子学纺织品可以是不活动的，或者可以自主或者受控来显示其它图像。当然，容易理解，本系统的显示器的任何一个或多个可以类似地操作，而不管显示器是否是由光子学纺织品制造的。
在一个实施例中，显示器(例如环境照明显示器、外围显示器等)中的一个或多个可以被制造为电子墨水(e-ink)显示器或其它反射型显示器。这种例如作为外围显示器使用的显示器可以采取e-ink壁纸的形式。根据本系统，当系统可操作时，e-ink壁纸可以显示图像，并且当系统不可操作时，可以显示其它图像，诸如壁纸图案。在一个实施例中，e-ink照片帧和/或更大的帧可以作为一个或多个环境和/或外围显示器来操作。当不被主显示器控制来作为外围显示器操作时，帧可以示出油画和/或图片。根据本系统的一个实施例，可以以比主显示设备低的分辨率和低的刷新速率等来提供扩展图像，正如由显示器的显示性能确定的。
可以使用其它联网的图像源-诸如照片帧等，来作为外围显示器和/或环境照明源。联网的图像源可以通过自识别和/或自动查询系统而被自动添加到系统以便识别联网图像源的可用性和性能以及联网图像源的相对定位。这样，额外的图像和/或环境照明源可以被添加到系统或者从系统中清除，而无需麻烦的设置过程。在一个替代实施例中，可以执行一个一次设置过程，其中规定了显示特性、位置等。然后，主显示器可以自动链接到副显示器(例如外围显示器、环境照明显示器等)以便在需要时提供外围和/或环境照明效果。在一个实施例中，引入显示设备和/或具有显示器的设备和/或在系统的一个区域内的照明性能会启动在主显示器和/或设备上产生一个用户接口，以便使得能够将设备注册为现有的环境照明和/或外围成像系统的一部分。在一个实施例中，环境和外围照明效果的组合可以被提供，其中效果的一部分被提供作为环境照明效果，以及效果的一部分可以被提供为外围效果。在另一个变体中，根据本系统，副显示器还可以具有产生环境照明效果的能力。当然，根据本系统，其它组合也可以是很容易应用的。
在根据本系统的一个实施例中，在内容扩展到外围和/或环境设备期间，可能会出现伪像，这例如归因于在应用时的全局/局部运动模型的精确性的限制，这会使由外围和/或环境设备描绘的物体的分辨率、质量和/或位置降级。因此，可能希望被确定用于外围和/或环境设备的所有的“扩展数据”(例如用于驱动外围和/或环境照明设备的数据)都具有有限的时间持续性(persistence)，从而有助于数据的某种程度的精确性。在一个实施例中，可以通过使用扩展数据的至少一部分以及诸如从当前描绘的内容帧中取得的数据这样的“典型的环境照明数据”来实现后退情节，用于驱动副设备。例如，在一个实施例中，从时间上靠近当前帧的帧中确定的扩展数据主要被用于确定由外围和/或环境设备在典型的环境照明数据上再现什么。不过，由于扩展数据的一个特定部分在时间上更加远离(老于)主显示器中当前描绘的数据(特征、物体、背景、前景等)，所以典型的环境照明数据可以被逐渐用于例如通过递归过滤系统来替换变老的扩展数据。如果典型的环境照明数据不可用，则还可以使用缺省的色彩和/或照明。可以逐个特征和逐个物体地执行由副设备再现什么的这种替换。例如，甚至由单个扩展设备提供的扩展数据的一些部分也可能比扩展数据的其它部分“更新鲜”。因此，在根据本系统的一个实施例中，可以逐个特征和逐个物体地执行这种替代过程。此外，如果检测的场景发生变化，其中内容的在前部分的描绘部分由于场景变化而不再合适，则外围照明系统和/或环境照明系统可以使用主显示器上当前描绘的内容和/或缺省色彩(例如强度、色调、饱和度等)和/或照明来为副再现设备确定内容。
图5示出了根据本系统的一个实施例的系统500。该系统具有处理器510，其可操作地耦合到存储器520、主再现设备530、一个或多个副再现设备540和输入/输出(I/O)设备570。这里所使用的术语“再现设备”旨在涉及任何可以根据本系统再现内容的设备。因此，主再现设备可以是诸如电视设备这样的视频显示设备，而副再现设备可以是诸如环境照明设备和/或外围再现设备这样的设备。存储器520可以是任何类型的用于存储应用数据以及诸如内容帧数据这样的其它数据的设备。应用数据和诸如特征和物体数据这样的其它数据由处理器510接收用于配置处理器510来执行根据本系统的操作动作。根据本系统，操作动作包括控制显示器530中的至少一个来显示内容并且控制副再现设备。输入/输出570可以包括键盘、鼠标或其它设备，包括触敏显示器，它可以是独立的或者是系统的一部分，例如个人计算机、个人数字助理的一部分，也可以是诸如电视机这样的显示设备，经由诸如有线或者无线链路这样的任何类型的链路与处理器510通信。无疑，处理器510、存储器520、主再现设备530、副再现设备540和/或I/O设备570可以全部或者部分作为诸如基于电视的内容再现设备这样的电视平台的一部分。
本系统的方法特别适合由计算机软件程序来执行，这种计算机软件程序优选地含有对应于所述方法的个别的步骤或动作的模块。这种软件当然可以被嵌入在计算机可读介质中，该介质例如是集成芯片、外围设备或者存储器，诸如存储器520或其它耦合到处理器510的存储器。
计算机可读介质和/或存储器520可以是任何可记录介质(例如RAM、ROM、可移动存储器、CD-ROM、硬盘驱动器、DVD、软盘或者存储卡)或者可以是传输介质(例如包括光纤、万维网、电缆和/或无线信道的网络，所述无线信道例如使用时分多址接入、码分多址接入或其它射频信道)。任何能够存储和/或提供适合供计算机系统使用的信息的已知或者被开发的介质都可以被用作计算机可读介质和/或存储器520。
还可以使用附加的存储器。计算机可读介质、存储器520和/或任何其它的存储器可以是长期、短期或者长期和短期存储器的组合。这些存储器可以配置处理器510来实现这里公开的方法、操作动作和功能。存储器可以是分布式的或者本地的，处理器510-这里附加的处理器也可以被提供-也可以是分布式的，例如基于在主再现设备、和/或一个或多个副再现设备中，或者也可以是单数的。存储器可以被实现为电、磁或光存储器或者这些或其它类型存储设备的任何组合。此外，术语“存储器”应当被解释得足够广义，以便包含能够从处理器访问的可寻址空间中的地址读出的任何信息或者向该地址写入的任何信息。利用这个定义，例如网络上的信息也在存储器520中，这是因为处理器510可以从网络中检索信息以便根据本系统操作。
处理器510和存储器520可以是任何类型的处理器/控制器、微控制器和/或存储器。处理器510能够响应于来自I/O设备570的输入信号而提供控制信号和/或执行操作并且执行存储器520中存储的指令。处理器510可以是应用特定的或者通用的集成电路。此外，处理器510可以是用于根据本系统执行的专用的处理器，或者可以是通用处理器，其中许多功能中的仅一个功能操作来根据本系统执行。处理器510可以使用程序部分、多个程序段来操作，或者可以是使用专用或多用途集成电路的硬件设备。
当然，应当理解，根据本系统，上述实施例或者过程中的任何一个都可以与一个或多个其它实施例或过程组合。例如，尽管在这里是相对于环境照明系统或外围图像系统描述了某些系统、算法、技术，但是容易理解的是，这些中的许多都可以应用在任何一个系统和/或一个组合的系统中。
最后，上面的讨论旨在只是说明本系统，不应当被理解为使所附的权利要求限于任何特定的实施例或者实施例组。因此，虽然已经参考其具体的示范实施例特别地描述了本系统，但是还应当理解，在不偏离后面的权利要求中提出的本系统的更宽和预期的精神和范围的情况下，本领域普通技术人员可以设计大量的修改和替代实施例。例如，虽然在说明性的讨论中，环境照明元件和外围再现设备被说明为物理上与主显示设备分开的设备，但是这并不是旨在限制，除非特别指出。例如，在一个实施例中，主再现设备(例如主显示器)和副再现设备表示单个再现设备的一些部分。在这个实施例中，再现设备可以是大型再现设备，例如形成为基于墙的显示器的一部分。在这个实施例中，再现设备的不同部分可以作为主和副再现设备操作。进一步的修改也被预期在本系统的范围内。因此，应当以说明性的方式来看待说明书和附图，它们并非是打算来限制所附权利要求的范围。
在解释所附的权利要求书时，应当理解：
a)词语“包括”并不排除除了在给定权利要求中列出的那些之外的其它元素或动作的存在；
b)在元素之前的词语“一个”并不排除多个这种元素的存在；
c)权利要求书中的任何附图标记都不会限制它们的范围；
d)若干“装置”可以由相同的项目或硬件或软件实现的结构或功能来表示；
e)任何所公开的元件都可以由硬件部分(例如包括分立和集成电子电路)、软件部分(例如计算机程序设计)以及它们的组合来构成；
f)硬件部分可以由模拟和数字部分中的一个或者二者来构成；
g)任何所公开的设备或其各部分可以被组合在一起或者被分成更多的部分，除非另外特别指出；以及
h)不打算要求动作或者步骤的具体顺序，除非特别指出。

Claims (66)

1.一种再现图像内容的方法，该方法包括步骤：
分析内容信号的先前和随后的时间部分中的至少一个，以便确定与内容信号的当前部分的主元素相关的副元素；
在主再现设备上再现内容信号的当前部分；以及
与内容信号当前部分的再现同时地在副再现设备上再现与内容信号的当前部分的主元素相关的副元素。
2.权利要求1的方法，其中再现副元素的动作包括以比所再现的内容信号的当前部分低的分辨率来再现副元素的动作。
3.权利要求1的方法，其中以比内容信号低的分辨率来执行分析内容信号的先前和随后的时间部分中的至少一个的动作。
4.权利要求1的方法，其中再现副元素的动作包括以变化的分辨率再现副元素的动作，其中基于所再现的副元素相对于在主再现设备上再现的内容信号的空间和时间位置中的至少一个来确定所述变化。
5.权利要求1的方法，其中再现副元素的动作包括以基于所再现的副元素相对于在主再现设备上再现的内容信号的位置而确定的分辨率来再现副元素的动作。
6.权利要求5的方法，其中再现副元素的动作包括以基于所再现的副元素相对于在主再现设备上再现的内容信号的时间位置而确定的分辨率来再现副元素的动作。
7.权利要求1的方法，其中分析动作包括产生与所确定的副元素相关的辅助数据并且将辅助数据与内容信号相关联的动作，其中使用辅助数据来执行再现副元素的动作。
8.权利要求7的方法，其中在辅助内容信号中的图像数据的数据标准框架中描述辅助数据。
9.权利要求8的方法，其中辅助数据由环境体验数据(AMBX)和补充增强信息(SEI)之一构成。
10.权利要求1的方法，其中再现副元素的动作包括将副元素作为环境照明元素再现的动作。
11.权利要求1的方法，其中再现副元素的动作包括将副元素作为外围图像元素再现的动作。
12.权利要求1的方法，其中分析动作包括基于副再现设备相对于主再现设备的位置来确定副元素的动作。
13.权利要求1的方法，其中分析动作包括基于多个副再现设备中的每一个相对于主再现设备的位置来确定副元素的动作。
14.权利要求1的方法，其中分析动作包括基于与图像内容相关联的辅助数据来确定副元素的动作。
15.权利要求14的方法，其中辅助数据由环境体验数据(AMBX)和补充增强信息(SEI)之一构成。
16.权利要求14的方法，其中分析动作包括基于多个副再现设备中的每一个相对于主再现设备的位置来确定副元素的动作。
17.权利要求1的方法，其中再现副元素的动作包括为定位于主再现设备一侧的多个副再现设备中的一个以及定位于主再现设备的另一侧的多个副再现设备中的另一个再现副元素的动作。
18.权利要求17的方法，其中分析动作包括分析内容信号的先前和随后的时间部分中的每一个以便确定副元素的动作。
19.权利要求1的方法，其中再现副元素的动作包括以比所再现的内容信号低的帧速率来再现副元素的动作。
20.权利要求1的方法，其中通过运动和几何关系中的至少一个将副元素与内容信号的当前部分相关。
21.权利要求20的方法，其中利用运动分析来跟踪在某个时刻出现在主再现设备上的至少一个子区域以便确定在副再现设备上再现的至少一个元素。
22.权利要求21的方法，其中基于在为主再现设备再现的图像内容中运动的继续来执行运动分析。
23.权利要求21的方法，其中运动分析是从内容信号的当前部分中识别的运动到副再现设备的几何定位的投影。
24.权利要求1的方法，其中几何定位包括副再现设备相对于主再现设备的位置以及在主和副再现设备上再现的内容大小的比率中的至少一个。
25.一种包含在被配置来再现图像内容的计算机可读介质上的应用，该应用包括：
被配置来分析内容信号的先前和随后的时间部分中的至少一个的程序部分，以便确定与内容信号的当前部分在空间和时间的至少一个上相关的元素；
被配置来在主再现设备上再现内容信号的当前部分的程序部分；以及
被配置来与内容信号当前部分的再现同时地在副再现设备上再现与内容信号的当前部分相关的元素的程序部分。
26.权利要求25的应用，其中被配置来再现元素的程序部分被配置成以比所再现的内容信号的当前部分低的分辨率来再现元素。
27.权利要求25的应用，其中被配置来分析内容信号的先前和随后的时间部分中的至少一个的程序部分被配置成以比内容信号低的分辨率来分析先前和随后的时间部分中的至少一个。
28.权利要求25的应用，其中被配置来再现元素的程序部分被配置成以变化的分辨率再现元素，其中基于所再现的元素相对于在主再现设备上再现的内容信号的位置来确定所述变化。
29.权利要求25的应用，其中被配置来再现元素的程序部分被配置成以基于所再现的元素相对于在主再现设备上再现的内容信号的位置而确定的分辨率来再现元素。
30.权利要求29的应用，其中被配置来再现元素的程序部分被配置成以基于所再现的元素相对于主再现设备上再现的内容信号的时间位置而确定的分辨率来再现元素。
31.权利要求25的应用，其中被配置来分析的程序部分被配置成产生与所确定的元素相关的辅助数据并且将辅助数据与内容信号相关联，其中被配置来再现元素的程序部分被配置成使用辅助数据。
32.权利要求31的应用，其中辅助数据由环境体验数据(AMBX)和补充增强信息(SEI)之一构成。
33.权利要求25的应用，其中被配置来再现元素的程序部分被配置成将元素作为环境照明元素再现。
34.权利要求25的应用，其中被配置来再现元素的程序部分被配置成将元素作为外围图像元素再现。
35.权利要求25的应用，其中被配置来再现元素的程序部分被配置成基于副再现设备相对于主再现设备的位置来再现元素。
36.权利要求25的应用，其中被配置来再现元素的程序部分被配置成基于多个副再现设备中的每一个相对于主再现设备的位置来再现元素。
37.权利要求25的应用，其中被配置来再现元素的程序部分被配置成基于与内容相关联的辅助数据来再现元素。
38.权利要求37的应用，其中被配置来再现元素的程序部分被配置成基于作为环境体验数据(AMBX)和补充增强信息(SEI)之一的辅助数据来再现元素。
39.权利要求37的应用，其中被配置来再现元素的程序部分被配置成基于多个副再现设备中的每一个相对于主再现设备的位置来再现元素。
40.权利要求25的应用，其中被配置来再现元素的程序部分被配置成为定位于主再现设备一侧的多个副再现设备中的一个以及定位于主再现设备的另一侧的多个副再现设备中的另一个而再现元素.
41.权利要求40的应用，其中被配置来分析的程序部分被配置成分析内容信号的先前和随后的时间部分中的每一个以便确定元素。
42.权利要求25的应用，其中被配置来再现元素的程序部分被配置成以比所再现的内容信号低的帧速率来再现元素。
43.一种用于在主和副再现设备中的每一个上再现图像内容的处理器(510)，该处理器(510)包括被配置来可操作地耦合到主和副再现设备(530，540)中的每一个的耦连，其中处理器(510)被配置成：
分析内容信号的先前和随后的时间部分中的至少一个，以便确定在位置上与内容信号的当前部分相关的元素；
提供内容信号的当前部分用于在主再现设备(530)上再现；以及
提供在位置上与内容信号的当前部分相关的元素用于与内容信号当前部分的再现同时地在副再现设备(540)上再现。
44.权利要求43的处理器(510)，其中处理器(510)被配置成以比所提供的内容信号的当前部分更低的分辨率和更低的帧速率中的至少一个来提供元素。
45.权利要求43的处理器(510)，其中处理器(510)被配置成以比内容信号低的分辨率来分析先前和随后的时间部分中的至少一个。
46.权利要求43的处理器(510)，其中处理器(510)被配置成以变化的分辨率提供元素，其中基于所提供的元素相对于被提供来在主再现设备(530)上再现的内容信号的位置来确定所述变化。
47.权利要求43的处理器(510)，其中处理器(510)被配置成以基于所再现的元素相对于被提供用于在主再现设备(530)上再现的内容信号的位置而确定的分辨率提供元素。
48.权利要求47的处理器(510)，其中处理器(510)被配置成以基于所提供的元素相对于被提供用于在主再现设备(530)上再现的内容信号的时间位置而确定的分辨率提供元素。
49.权利要求43的处理器(510)，其中处理器(510)被配置成使用与内容信号相关联并且与所确定的元素相关的辅助数据来提供元素。
50.权利要求49的处理器(510)，其中辅助数据由环境体验数据(AMBX)和补充增强信息(SEI)之一构成。
51.权利要求43的处理器(510)，其中处理器(510)被配置成将元素作为环境照明元素和外围图像元素中的至少一个来提供。
52.权利要求51的处理器(510)，包括副再现设备(540)，其中处理器(510)被配置成将元素作为环境照明元素来提供，其中副再现设备(540)包括发光二极管阵列和微微投影仪中的至少一个。
53.权利要求43的处理器(510)，其中处理器(510)被配置成基于副再现设备(540)相对于主再现设备(530)的位置来提供元素。
54.权利要求43的处理器(510)，包括副再现设备(540)，其中副再现设备(540)包括多个副再现设备(540)，并且其中处理器(510)被配置成基于多个副再现设备(540)中的每一个相对于主再现设备(530)的位置来提供元素。
55.权利要求43的处理器(510)，其中处理器(510)被配置成基于与内容相关联的、作为环境体验数据(AMBX)和补充增强信息(SEI)之一的辅助数据来提供元素。
56.权利要求55的处理器(510)，包括副再现设备(540)，其中副再现设备(540)包括多个副再现设备(540)，并且其中处理器(510)被配置成基于副再现设备(540)中的每一个相对于主再现设备(530)的位置来提供元素。
57.权利要求43的处理器(510)，包括多个副再现设备(540)，其中处理器(510)被配置成为定位于主再现设备(530)一侧的多个副再现设备中的一个以及定位于主再现设备(530)的另一侧的多个副再现设备(540)中的另一个而再现元素。
58.权利要求43的处理器(510)，其中处理器(510)被配置成基于所提供的元素相对于被提供用于在主再现设备(530)上再现的内容信号的空间和时间位置中的至少一个来确定元素。
59.一种嵌入在传输流中的辅助图像信号，用于使得能够再现与主图像相关的副图像，其中辅助图像信号被安排来描述适合于从主显示器继续到副再现设备的元素，其中辅助图像信号包括定位轮廓，使得能够在多个时刻、在副再现设备上定位元素。
60.权利要求60的辅助图像信号，其中辅助图像信号将元素识别为前景和背景物体之一。
61.权利要求60的辅助图像信号，其中定位轮廓包括用于元素的边界像素的参数位置函数。
62.权利要求62的辅助图像信号，其中参数位置函数包括用于元素的边界框描述。
63.权利要求60的辅助图像信号，其中辅助图像信号包括修改轮廓，当元素离开主显示器进行到副再现设备上时，所述修改轮廓为元素识别色彩和亮度变化中的至少一个。
64.权利要求60的辅助图像信号，其中修改轮廓包括被安排来使得能够对元素精确分段的元素色彩和构造特征中的至少一个。
65.权利要求64的辅助图像信号，其中修改轮廓包括转换数据，被安排来当元素离开主显示器进行到副再现设备上时，启用时空透视转换、锐度转换和元素的细节修改中的至少一个。
66.一种产生辅助数据以便将元素显示在主显示器附近的副显示器上的方法，包括：
分析一组图像；
提取这些图像的一些区域；
对于接连的时刻、确定用于这些区域的接连的位置信息以便在主再现图像空间外的一个图像空间中再现；
将接连的位置信息编码在与该组图像相关联的辅助数据中。
CN2007800119894A 2006-03-31 2007-03-29 基于附加内容帧的视频内容的自适应再现 Expired - Fee Related CN101438579B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US78847606P 2006-03-31 2006-03-31
US60/788,476 2006-03-31
PCT/IB2007/051126 WO2007113754A1 (en) 2006-03-31 2007-03-29 Adaptive rendering of video content based on additional frames of content

Publications (2)

Publication Number Publication Date
CN101438579A true CN101438579A (zh) 2009-05-20
CN101438579B CN101438579B (zh) 2012-05-30

Family

ID=38426552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800119894A Expired - Fee Related CN101438579B (zh) 2006-03-31 2007-03-29 基于附加内容帧的视频内容的自适应再现

Country Status (10)

Country Link
US (1) US8599313B2 (zh)
EP (1) EP2005732A1 (zh)
JP (1) JP5107338B2 (zh)
KR (1) KR101465459B1 (zh)
CN (1) CN101438579B (zh)
BR (1) BRPI0709260A2 (zh)
MX (1) MX2008012473A (zh)
RU (1) RU2454023C2 (zh)
TW (1) TW200746818A (zh)
WO (1) WO2007113754A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221984A (zh) * 2010-06-14 2011-10-19 微软公司 独立地处理显示数据的平面
CN102811329A (zh) * 2011-06-02 2012-12-05 三星电子株式会社 显示设备、显示系统和用于显示其图像的方法
CN105009567A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 用于合成叠加图形的外观映射的系统和方法
CN108230988A (zh) * 2012-02-08 2018-06-29 三星电子株式会社 显示装置
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
CN110730338A (zh) * 2019-10-23 2020-01-24 国网黑龙江省电力有限公司信息通信公司 一种电视背景墙投影装置
CN111567056A (zh) * 2018-01-04 2020-08-21 三星电子株式会社 视频播放装置及其控制方法
US11003062B2 (en) 2015-03-31 2021-05-11 Sony Corporation Information processing device, method of information processing, and image display system

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010516069A (ja) * 2006-12-21 2010-05-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 光放射を表示するシステム、方法、コンピュータ読み取り可能な媒体、及びユーザ・インタフェース
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
DE102008026517A1 (de) * 2008-06-03 2009-12-10 Zumtobel Lighting Gmbh Beleuchtungs- und Anzeigevorrichtung
TWI395512B (zh) * 2008-08-08 2013-05-01 Remote controller for light emitting diode module
US8427424B2 (en) 2008-09-30 2013-04-23 Microsoft Corporation Using physical objects in conjunction with an interactive surface
EP2371125A1 (en) * 2008-11-28 2011-10-05 Koninklijke Philips Electronics N.V. A display system, control unit, method, and computer program product for providing ambient light with 3d sensation
JP2011086437A (ja) * 2009-10-14 2011-04-28 Nintendo Co Ltd 画像表示システム、照明システム、情報処理装置、および制御プログラム
JP5622372B2 (ja) * 2009-09-10 2014-11-12 任天堂株式会社 画像表示システムおよび照明装置
WO2011073877A1 (en) * 2009-12-17 2011-06-23 Koninklijke Philips Electronics N.V. Ambience cinema lighting system
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
EP2543181B1 (en) 2010-03-03 2015-10-21 Koninklijke Philips N.V. Apparatuses and methods for defining color regimes
US9754629B2 (en) 2010-03-03 2017-09-05 Koninklijke Philips N.V. Methods and apparatuses for processing or defining luminance/color regimes
TWI533286B (zh) * 2010-09-06 2016-05-11 元太科技工業股份有限公司 平面顯示裝置
US9329469B2 (en) 2011-02-17 2016-05-03 Microsoft Technology Licensing, Llc Providing an interactive experience using a 3D depth camera and a 3D projector
US9480907B2 (en) 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US20120223885A1 (en) * 2011-03-02 2012-09-06 Microsoft Corporation Immersive display experience
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8804321B2 (en) 2012-05-25 2014-08-12 Steelcase, Inc. Work and videoconference assembly
KR101305249B1 (ko) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 다면 상영 시스템
EP2731055A1 (en) 2012-10-04 2014-05-14 Thomson Licensing Method and apparatus for ambient lighting color determination
US9930082B2 (en) 2012-11-20 2018-03-27 Nvidia Corporation Method and system for network driven automatic adaptive rendering impedance
US10616086B2 (en) * 2012-12-27 2020-04-07 Navidia Corporation Network adaptive latency reduction through frame rate control
TWM459428U (zh) * 2013-03-04 2013-08-11 Gunitech Corp 環境控制裝置及影／音播放裝置
US9819604B2 (en) 2013-07-31 2017-11-14 Nvidia Corporation Real time network adaptive low latency transport stream muxing of audio/video streams for miracast
WO2015116046A1 (en) * 2014-01-29 2015-08-06 Intel Corporation Secondary display mechanism
JP5965434B2 (ja) * 2014-06-17 2016-08-03 任天堂株式会社 画像表示システム、照明システム、情報処理装置、および制御プログラム
US9389703B1 (en) * 2014-06-23 2016-07-12 Amazon Technologies, Inc. Virtual screen bezel
US9373054B2 (en) 2014-09-02 2016-06-21 Kodak Alaris Inc. Method for selecting frames from video sequences based on incremental improvement
DE102014016643A1 (de) 2014-11-11 2016-05-12 Novomatic Ag Anzeigevorrichtung und Verfahren zum Betreiben einer solchen Anzeigevorrichtung
KR102281162B1 (ko) 2014-11-20 2021-07-23 삼성전자주식회사 영상 처리 장치 및 방법
US9544419B2 (en) 2014-12-24 2017-01-10 Intel Corporation Methods and systems for configuring a mobile device based on an orientation-based usage context
US9826277B2 (en) * 2015-01-23 2017-11-21 TCL Research America Inc. Method and system for collaborative and scalable information presentation
US10089532B2 (en) 2015-02-23 2018-10-02 Kodak Alaris Inc. Method for output creation based on video content characteristics
CN107637082B (zh) * 2015-06-12 2021-03-12 索尼公司 信息处理装置以及信息处理方法
EP3139369A1 (en) * 2015-09-02 2017-03-08 TP Vision Holding B.V. Printed circuit board for controlling projectors and electronic device
CN105657494B (zh) * 2015-12-31 2018-12-25 北京小鸟看看科技有限公司 一种虚拟影院及其实现方法
CN109196956B (zh) * 2016-04-22 2021-01-22 飞利浦照明控股有限公司 控制照明系统
AU2016412141B2 (en) 2016-06-14 2022-03-03 Razer (Asia-Pacific) Pte. Ltd. Image processing devices, methods for controlling an image processing device, and computer-readable media
KR102267397B1 (ko) * 2016-10-25 2021-06-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP2018105659A (ja) * 2016-12-23 2018-07-05 国立研究開発法人理化学研究所 識別装置、識別システム、学習装置、学習方法、識別プログラム、学習プログラム、記録媒体、及び集積回路
US10080051B1 (en) * 2017-10-25 2018-09-18 TCL Research America Inc. Method and system for immersive information presentation
KR102594652B1 (ko) 2018-12-07 2023-10-27 삼성전자 주식회사 전자 장치의 시각 효과 제공 방법 및 이를 사용하는 전자 장치
WO2020122920A1 (en) * 2018-12-13 2020-06-18 Hewlett-Packard Development Company, L.P. Customizable onscreen display reference points
KR102335091B1 (ko) 2019-09-26 2021-12-03 구글 엘엘씨 레인지 익스텐더 장치
US11023729B1 (en) * 2019-11-08 2021-06-01 Msg Entertainment Group, Llc Providing visual guidance for presenting visual content in a venue
FR3111724B1 (fr) * 2020-06-18 2022-11-04 Cgr Cinemas Méthodes pour la production d’effets d’immersion visuelle pour un contenu audiovisuel
US12086301B2 (en) 2022-06-01 2024-09-10 Sphere Entertainment Group, Llc System for multi-user collaboration within a virtual reality environment

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6611297B1 (en) * 1998-04-13 2003-08-26 Matsushita Electric Industrial Co., Ltd. Illumination control method and illumination device
JP4176233B2 (ja) * 1998-04-13 2008-11-05 松下電器産業株式会社 照明制御方法及び照明装置
JP2001118689A (ja) * 1999-10-15 2001-04-27 Matsushita Electric Ind Co Ltd 照明制御方法
US6872553B2 (en) * 1999-10-20 2005-03-29 Degussa Ag Nucleotide sequences which code for the pck gene
JP4399087B2 (ja) * 2000-05-31 2010-01-13 パナソニック株式会社 照明システム、映像表示デバイスおよび照明制御方法
WO2003017649A1 (en) 2001-08-20 2003-02-27 Koninklijke Philips Electronics N.V. Image size extension
US6940558B2 (en) * 2001-12-06 2005-09-06 Koninklijke Philips Electronics N.V. Streaming content associated with a portion of a TV screen to a companion device
GB0211898D0 (en) * 2002-05-23 2002-07-03 Koninkl Philips Electronics Nv Controlling ambient light
EP1525747B1 (en) * 2002-07-04 2008-10-08 Koninklijke Philips Electronics N.V. Method of and system for controlling an ambient light and lighting unit
WO2004006570A1 (en) * 2002-07-04 2004-01-15 Koninklijke Philips Electronics N.V. Method of and system for controlling an ambient light and lighting unit
US20060109283A1 (en) * 2003-02-04 2006-05-25 Shipman Samuel E Temporal-context-based video browsing interface for PVR-enabled television systems
JP2005020512A (ja) * 2003-06-27 2005-01-20 Pioneer Electronic Corp 映像信号処理装置
JP2005057410A (ja) * 2003-08-01 2005-03-03 Alpine Electronics Inc 映像出力装置および方法
US20050036067A1 (en) * 2003-08-05 2005-02-17 Ryal Kim Annon Variable perspective view of video images
EP1763955A1 (en) * 2004-06-30 2007-03-21 Koninklijke Philips Electronics N.V. Passive diffuser frame system for ambient lighting using a video display unit as a light source
JP4727342B2 (ja) 2004-09-15 2011-07-20 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラム及びプログラム格納媒体
JP4587871B2 (ja) * 2005-05-11 2010-11-24 シャープ株式会社 コンテンツ表示方法、コンテンツ表示装置、及び該方法を実行するプログラム及び記録媒体

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8982151B2 (en) 2010-06-14 2015-03-17 Microsoft Technology Licensing, Llc Independently processing planes of display data
CN102221984A (zh) * 2010-06-14 2011-10-19 微软公司 独立地处理显示数据的平面
CN102811329A (zh) * 2011-06-02 2012-12-05 三星电子株式会社 显示设备、显示系统和用于显示其图像的方法
CN108230988A (zh) * 2012-02-08 2018-06-29 三星电子株式会社 显示装置
CN108230988B (zh) * 2012-02-08 2022-02-01 三星电子株式会社 显示装置
CN105009567B (zh) * 2013-02-21 2018-06-08 杜比实验室特许公司 用于合成叠加图形的外观映射的系统和方法
US10055866B2 (en) 2013-02-21 2018-08-21 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US10497162B2 (en) 2013-02-21 2019-12-03 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
US10977849B2 (en) 2013-02-21 2021-04-13 Dolby Laboratories Licensing Corporation Systems and methods for appearance mapping for compositing overlay graphics
CN105009567A (zh) * 2013-02-21 2015-10-28 杜比实验室特许公司 用于合成叠加图形的外观映射的系统和方法
US11003062B2 (en) 2015-03-31 2021-05-11 Sony Corporation Information processing device, method of information processing, and image display system
CN111567056A (zh) * 2018-01-04 2020-08-21 三星电子株式会社 视频播放装置及其控制方法
US11457273B2 (en) 2018-01-04 2022-09-27 Samsung Electronics Co., Ltd. Video playback device and control method thereof
US11831948B2 (en) 2018-01-04 2023-11-28 Samsung Electronics Co., Ltd. Video playback device and control method thereof
US12219208B2 (en) 2018-01-04 2025-02-04 Samsung Electronics Co., Ltd. Video playback device and control method thereof
CN110730338A (zh) * 2019-10-23 2020-01-24 国网黑龙江省电力有限公司信息通信公司 一种电视背景墙投影装置

Also Published As

Publication number Publication date
JP5107338B2 (ja) 2012-12-26
RU2008143242A (ru) 2010-05-10
RU2454023C2 (ru) 2012-06-20
TW200746818A (en) 2007-12-16
KR101465459B1 (ko) 2014-12-10
JP2009542039A (ja) 2009-11-26
US20100201878A1 (en) 2010-08-12
KR20080111515A (ko) 2008-12-23
CN101438579B (zh) 2012-05-30
EP2005732A1 (en) 2008-12-24
WO2007113754A1 (en) 2007-10-11
BRPI0709260A2 (pt) 2011-06-28
US8599313B2 (en) 2013-12-03
MX2008012473A (es) 2008-10-10

Similar Documents

Publication Publication Date Title
CN101438579B (zh) 基于附加内容帧的视频内容的自适应再现
JP6526776B2 (ja) Ｈｄｒ画像符号化及び復号のための輝度領域ベース装置及び方法
KR101489262B1 (ko) 메인 영상의 시각적 요소를 확장시키는 다면 상영 시스템
US10217274B2 (en) Control for digital lighting
US7689062B2 (en) System and method for virtual content placement
CN102845067B (zh) 三维(3d)呈现中的字幕
JP4606420B2 (ja) 補助ビジュアル表示システム
US20080225059A1 (en) System and method for using off-screen mask space to provide enhanced viewing
US8558830B2 (en) System and method for adaptive scalable dynamic conversion, quality and processing optimization, enhancement, correction, mastering, and other advantageous processing of three dimensional media content
CN103988234A (zh) 经由透视显示器来显示阴影
JP2013541895A5 (zh)
US8979281B2 (en) System and method for imagination park tree projections
EP1463331A1 (en) Method and system for modifying digital cinema frame content
CN106999788A (zh) 社交媒体链接的大幅面剧院设计
CN105247415B (zh) 剧场结构及使用该剧场结构的多投影系统
US11490034B1 (en) Increasing resolution and luminance of a display
KR101842546B1 (ko) 실감 효과 검출 장치 및 방법
US20250095315A1 (en) Projection device and operating method thereof
US20140125763A1 (en) 3d led output device and process for emitting 3d content output for large screen applications and which is visible without 3d glasses
CN118573831A (zh) 3d立体画面增强显示方法、系统及装置
Dingeldey et al. Interactive 3D Stereoscopic Dome with Automatic Calibration.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: TP VISION HOLDING B.V.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS N.V.

Effective date: 20120821

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20120821

Address after: Holland Ian Deho Finn

Patentee after: Tp Vision Holding B. V.

Address before: Holland Ian Deho Finn

Patentee before: Koninklijke Philips Electronics N.V.

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120530

Termination date: 20190329

CF01 Termination of patent right due to non-payment of annual fee