[go: up one dir, main page]

CN106331732B - 生成、展现全景内容的方法及装置 - Google Patents

生成、展现全景内容的方法及装置 Download PDF

Info

Publication number
CN106331732B
CN106331732B CN201610851526.XA CN201610851526A CN106331732B CN 106331732 B CN106331732 B CN 106331732B CN 201610851526 A CN201610851526 A CN 201610851526A CN 106331732 B CN106331732 B CN 106331732B
Authority
CN
China
Prior art keywords
recommended
panoramic content
visual angle
view
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610851526.XA
Other languages
English (en)
Other versions
CN106331732A (zh
Inventor
陈诺
黄业桃
王博宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Madv Technology Co Ltd
Original Assignee
Beijing Madv Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Madv Technology Co Ltd filed Critical Beijing Madv Technology Co Ltd
Priority to CN201610851526.XA priority Critical patent/CN106331732B/zh
Publication of CN106331732A publication Critical patent/CN106331732A/zh
Application granted granted Critical
Publication of CN106331732B publication Critical patent/CN106331732B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种生成、展现全景内容的方法及装置，所述方法包括获取拍摄并拼接得到的原始全景内容；为原始全景内容中的每一帧图像记录推荐视角信息，推荐视角信息用于在播放原始全景内容时，根据推荐视角信息以推荐的视角向用户展现全景内容；将推荐视角信息复用到原始全景内容中传输或进行单独传输。本申请能够实现以推荐的视角向观看者展现全景内容，使观看者能够在全景内容中观看到拍摄者意欲展现的画面，避免观看者错过关键或精彩的画面。

Description

生成、展现全景内容的方法及装置
技术领域
本发明涉及虚拟现实技术，尤指一种生成、展现全景内容的方法及装置。
背景技术
随着虚拟现实技术的不断成熟，全景内容正在逐渐普及，并进入人们的生活，人们可以通过各种各样的途径接触到种类繁多的全景内容。
全景视频拍摄的是水平和垂直各360度的图像。在全景视频制作中，叙事需要的场景或者画面可能会集中在一定的视角方向上，而且这样的视角会不断变化。
但是，目前在播放全景视频、全景图像的过程中，只能由观看者通过重力传感器、加速度传感器、陀螺仪传感器等姿态传感器调整全景视频、全景图像的观看视角，或通过观看者的手势调整观看视角。上述方式下，观看者在观看全景视频、全景图像时的随意性比较大，很容易错过关键或精彩的画面。
发明内容
为了解决上述技术问题，本发明提供了一种生成、展现全景内容的方法及装置，能够实现按照推荐的视角将全景内容呈现给观看者，避免观看者错过精彩的画面。
为了达到本申请目的，本申请提供了一种生成全景内容的方法，包括：
获取原始全景内容；
为所述原始全景内容中的每一帧图像记录推荐视角信息，所述推荐视角信息用于在播放所述原始全景内容时，根据所述推荐视角信息以推荐的视角展现全景内容；
将所述推荐视角信息复用到所述原始全景内容中传输或进行单独传输。
本申请还提供了一种展现全景内容的方法，包括：
获取原始全景内容以及该原始全景内容对应的推荐视角信息；
将所述原始全景内容渲染到三维几何形体上，根据所述原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向；
根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上。
本申请还提供了一种生成全景内容的装置，包括：
一获取单元，用于获取原始全景内容；
一记录单元，用于为所述原始全景内容中的每一帧图像记录推荐视角信息，所述推荐视角信息用于在播放所述原始全景内容时，根据所述推荐视角信息以推荐的视角展现全景内容；
一传输单元，用于将所述推荐视角信息复用到所述原始全景内容中传输或进行单独传输。
本申请还提供了一种展现全景内容的装置，包括：
一获取单元，用于获取原始全景内容以及该原始全景内容对应的推荐视角信息；
一渲染单元，用于将所述原始全景内容渲染到三维几何形体上；
一视角方向确定单元，用于根据所述原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向；
一显示单元，用于根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上。
与现有技术相比，本申请包括获取拍摄并拼接得到的原始全景内容；为原始全景内容中的每一帧图像记录推荐视角信息，推荐视角信息用于在播放原始全景内容时，根据推荐视角信息以推荐的视角向用户展现全景内容；将推荐视角信息复用到原始全景内容中传输或进行单独传输。本申请能够实现以推荐的视角向观看者展现全景内容，使观看者能够在全景内容中观看到拍摄者意欲展现的画面，避免观看者错过关键或精彩的画面。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
图1为本申请一实施例的生成全景内容的方法的流程图；
图2和图3为本申请另一实施例中视角方向坐标的表示方法的示意图；
图4为本申请又一实施例的展现全景内容的方法的流程图；
图5为本申请又一实施例的生成全景内容的装置的架构图；
图6为本申请又一实施例的展现全景内容的装置的架构图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
全景内容制作者尤其是全景视频制作者有时需要将观看者的注意方向或者视角方向引导到制作者意图表现的某个方向上，以有效传达想要表达的内容，如电影叙事等。而现有技术在播放全景内容(包括全景视频和全景图片等)的过程中，观看者会通过姿态传感器或通过手势的方式任意调整展现全景内容的视角。由于全景内容是360度范围的图像，因此，观看者在观看过程中进行任意视角的调整会很容易错过精彩画面，导致观看者无法观看到全景内容中最为精彩的部分。
本申请中为了更有效的向观看者呈现全景内容，通过为全景内容记录推荐视角信息，将推荐视角信息复用到原始全景内容中或单独进行传输，以便播放再现时，能够根据推荐视角信息以推荐的视角向观看者展现全景内容，从而使观看者观看到全景内容中最为精彩的部分。
以下结合附图详细说明本申请各实施例提供的技术方案。
如图1所示，本申请一实施例提供的生成全景内容的方法，包括：
步骤101：获取原始全景内容；
步骤102：为原始全景内容中的每一帧图像记录推荐视角信息，推荐视角信息用于在播放原始全景内容时，根据推荐视角信息以推荐的视角向用户展现全景内容；
步骤103：将推荐视角信息复用到原始全景内容中传输或进行单独传输。
本申请的生成全景内容的方法可以应用在拍摄设备拍摄并拼接得到原始全景内容后，对原始全景内容进行后期制作。在对全景内容的制作中，除了传统的剪接、转场、特效、字幕和配音等工作以外，再记录并传输推荐视角信息，从而以制作者希望使用的视角呈现全景内容供观看者观看。本申请的方法可以应用于对全景视频、全景图片、全景动画和由计算机程序实时生成的全景画面等全景内容进行处理。
本申请中的原始全景内容可以是拍摄终端包含的多个图像采集单元各拍摄超过180度范围的图像，再由拍摄终端进行拼接融合得到全景内容。例如可以是全景视频、全景图片等，也可以是全景动画和由计算机程序实时生成的全景画面等全景内容。
为了能够实现按照推荐的视角展示原始全景内容，需要首先获取到原始全景内容，例如，对于拍摄设备拍摄的全景视频和全景图片等，可以直接从拍摄设备获取原始全景内容；如果原始全景内容已经下载到手机等展现设备上，也可以从展现设备上获取原始全景内容；对于全景动画和计算机生成的全景画面，可以从相应的制作设备上获取相应的原始全景内容。
其次，在获取到原始全景内容后，记录原始全景内容中的每一帧图像的推荐视角信息。对于全景视频，为全景视频中的每一帧记录推荐视角信息；对于全景图片，则记录该全景图片的推荐视角信息。
推荐视角信息用于在播放原始全景内容时，以推荐视角信息指示出的推荐的视角向用户展现全景内容。对于全景视频，针对全景视频中的每一帧图像，在播放全景视频时，根据每一帧图像对应的推荐视角信息，在相应的视角上展现图像；对于全景图片，在进行播放时，将全景图片展现在推荐视角信息指示出的视角上。
在本申请的一可选实施例中，推荐视角信息可以包含视角方向坐标和帧标识。
视角方向坐标是能够表示视角指向线的坐标值。视角指向线用于指示视角方向，是以对原始全景内容进行渲染采用的三维几何形体的中心为原点，且穿过用于在原始全景内容上圈定显示范围的视界的几何中心的直线。
全景内容的每一帧图像都会被渲染到一个三维几何形体上，例如，球体，观看者在这个球体内的中心，望向球面上关注的区域，这个区域一般是长方形以便屏幕展示，在这里称为视界。从观看者所在球体中心向这个视界的几何中心发出的直线定义为视角指向线。视角指向线指向的方向定义为视角方向。
视角方向坐标用于表示视角指向线，本申请中的视角方向坐标可以采用直角坐标，也可以采用角坐标。
如图2所示，如果采用直角坐标，则可以将视角指向线上除原点外的任意一点的直角坐标作为视角方向坐标，同时穿过原点和视角方向坐标表示的点的直线即为视角指向线；或者，
如图3所示，也可以采用角坐标表示视角指向线，作为视角方向坐标。
帧标识是能够唯一表示推荐视角信息所属帧的标识信息。全景视频由帧序列组成，包含多帧图像，由于每一帧图像均有对应的推荐视角信息，因此，推荐视角信息中需要包含帧标识，用以匹配每一帧图像与相应的视角方向坐标的匹配关系。
在本申请的一可选实施例中，帧标识可以采用帧号或者图像帧对应的时间戳。在推荐视角信息中包含帧号或时间戳，以便在播放原始全景内容时，根据帧号或时间戳为相应的图像帧匹配对应的视角方向坐标，从而以推荐的视角方向展现图像帧。
例如，以全景视频为例，在以观看者(同时也是相机拍摄位置)为原点的直角坐标系中，假设点(X，Y，Z)为视角指向线上除原点外的一点，可以用点(X，Y，Z)作为视角方向坐标来表示视角方向。当然，也可以用角坐标系坐标(θ，α)来表示。
对于全景视频中的第n帧图像，假设时间戳为Tn，则直角坐标(Xn，Yn，Zn，Tn)唯一定义了第n帧图像的视角。类似的，也可以用帧序号n来代替时间戳Tn表示图像在视频序列中的时间位置。
这样，一个视频序列的推荐视角信息可以表示为(X1，Y1，Z1，T1)，(X2，Y2，Z2，T2)，…(Xn，Yn，Zn，Tn)形式的序列。
在实际使用中，需要在终端或设备上记录下全景内容的推荐视角信息，再复用到原始全景内容中或进行单独传输，才能使播放端能够根据推荐视角信息以推荐的视角展现原始全景内容。
在本申请的一可选实施例中，可以采用如下方式为原始全景内容记录推荐视角信息，包括：
方式一：
步骤a：播放需要记录推荐视角信息的原始全景内容；
记录原始全景内容的推荐视角信息可以是在全景内容制作者进行全景内容的制作编辑时进行。
为了能够记录推荐视角信息，需要在PC或者智能手机等终端上对需要记录推荐视角信息的原始全景内容进行播放。
步骤b：检测制作者在播放的原始全景内容中输入的视角方向，记录得到的对应的推荐视角信息，视角方向为制作者希望引导用户关注的视角方向；
例如，在播放全景内容时，可以通过边播放全景内容边使用鼠标拖拽的方式，将画面控制在希望呈现的视角方向上。又例如，在手机上可以通过边播放边转动手机的方式将画面调整在希望呈现的方向上。
针对每一帧图像，在制作者完成视角方向的输入后，相应的检测出视角方向，记录下推荐视角信息。
在本申请的一可选实施例中，在制作者完成视角方向的输入后，根据对原始全景内容进行渲染采用的三维几何形体的中心和屏幕上当前展示的画面的中心点(视界的几何中心)确定视角指向线(同时穿过对原始全景内容进行渲染采用的三维几何形体的中心和屏幕上当前展示的画面的中心点的直线)，将视角指向线上除了原点外的一个点的坐标作为对应图像帧的视角方向坐标或者将能够表示视角指向线的角坐标作为对应图像帧的视角方向坐标，并对确定的视角方向坐标进行记录。同时，记录图像帧的帧号或时间戳作为帧标识。记录到视角方向坐标和帧标识后，则完整的得到了图像帧的推荐视角信息。
方式二：
步骤A：播放需要记录推荐视角信息的全景内容；
步骤B：检测制作者在播放的全景内容中选择的感兴趣的对象，在每一帧中识别并跟踪所选对象，以所选对象为基准确定每一帧的推荐视角，记录推荐视角信息。
在播放需要记录推荐视角信息的全景内容时，制作者可以在全景内容中选择感兴趣的对象，例如特定的人和物等，制作者选择的感兴趣的对象作为确定推荐视角的基准，以展示制作者选择的感兴趣的对象的视角作为推荐视角。
在制作者选择感兴趣的对象后，通过模式识别技术自动识别跟踪每帧中的制作者所选的感兴趣的对象，将能够使制作者所选的感兴趣的对象展示在每帧中心的视角作为推荐视角，记录推荐视角信息。
在本申请的一可选实施例中，在制作者选择感兴趣的对象后，针对每一帧自动识别跟踪每帧中的制作者所选的感兴趣的对象，将展现制作者所选的感兴趣的对象为视角的画面的中心点作为视界的几何中心，根据对原始全景内容进行渲染采用的三维几何形体的中心和展现制作者所选的感兴趣的对象为视角的画面的中心点(视界的几何中心)确定视角指向线，将视角指向线上除了原点外的一个点的坐标作为对应图像帧的视角方向坐标或者将能够表示视角指向线的角坐标作为对应图像帧的视角方向坐标，并对确定的视角方向坐标进行记录。同时，记录图像帧的帧号或时间戳作为帧标识。记录到视角方向坐标和帧标识后，则完整的得到了图像帧的推荐视角信息。
最后，在记录完成原始全景内容中的每一帧图像的推荐视角信息后，将推荐视角信息复用到原始全景内容中传输或进行单独传输，也就是说，可以参照多媒体文件格式标准框架，将推荐视角信息扩展存储到多媒体文件中，或者参照多媒体传输协议框架，进行扩展传输，以便在播放原始全景内容时能够根据推荐视角信息以推荐的视角展现原始全景内容。
在本申请的一可选实施例中，原始全景内容可以采用MP4或MPEG2TS等文件格式，在这种情况下，可以将推荐视角信息复用到原始全景内容中进行传输。在播放时，从多媒体文件中解复用出推荐视角信息，根据推荐视角信息以推荐的视角展现全景内容。
如果原始全景内容采用MP4文件格式，则将推荐视角信息作为视角轨，将视角轨的属性、视角轨数据的随机存取位置信息记录在元数据(movie box，moov)中，将视角轨数据记录在mdat(media data box)中，并完成复用合成。
在MP4文件格式(ISO/IEC 14496)中，在moov部分，可以记录视频轨、音频轨、字幕轨的属性以及随机存取位置等信息。在mdat部分，可以记录视频轨、音频轨、字幕轨等的数据本身。因此，可以将推荐视角信息作为视角轨，将其属性(如坐标系类别、每帧的推荐视角信息字节数)以及视角轨数据的随机存取位置信息放在moov内，将视角轨数据放在mdat内，并完成复用合成。当然，也可以另外定义单独的用户Box来存储。
如果原始全景内容采用MPEG2TS文件格式，则将推荐视角信息作为视角轨，将视角轨的属性、视角轨数据的随机存取位置信息记录在业务信息(SI)/节目说明信息(PSI)中，将视角轨数据作为基本码流(Elementary Stream)记录，并完成复用合成。
在MPEG2-TS文件格式(ISO/IEC 13818)中，类似于视频、音频、字幕，可以将视角轨的属性以及视角轨数据的随机存取位置信息记录在SI/PSI的PMT(节目映射表)的描述字中，将视角轨数据作为Elementary Stream记录，并完成复用合成。
在本申请的一可选实施例中，还可以将原始全景内容与推荐视角信息进行单独传输。在实时流传输协议(Real Time Streaming Protocol，RTSP)流媒体传送中，可以将推荐视角信息作为视角轨，将视角轨的属性记录在描述(DESCRIBE)应答的描述信息中传输，将视角轨数据作为一个单独的轨数据进行传输。
如图4所示，本申请的另一实施例提供的展现全景内容的方法，包括：
步骤401：获取原始全景内容以及该原始全景内容对应的推荐视角信息；
步骤402：将原始全景内容渲染到三维几何形体上，根据原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向；
步骤403：根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上。
在全景视频播放时，通过解复用MP4或MPEG2-TS等格式的多媒体文件或通过分析通信应答内容(RTSP等)等方式可以获取到原始全景内容以及该原始全景内容对应的推荐视角信息。
在对原始全景内容进行播放时，需要对图像数据进行解码，并渲染到三维几何形体上，例如通常会渲染到球体上。观看者在渲染的球体内的中心，可以看向球面上的任意区域，从而达到观看全景的效果。
在本申请中，在将原始全景内容渲染到三维几何形体上后，为了能够根据推荐视角信息按照推荐的视角展现原始全景内容，还要根据每一帧图像的推荐视角信息(视角轨数据)，确定每一帧图像的视角方向。每一帧图像具有各自对应的推荐视角信息。在从多媒体文件解复用或解析通信应答内容得到的推荐视角信息中包括视角方向坐标和帧标识。视角方向坐标与帧标识具有对应关系，可以根据帧标识为每一帧图像匹配到各自对应的视角方向坐标。
具体而言，在本申请的一可选实施例中，根据原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向，可以包括：
根据推荐视角信息中包含的帧标识为每一帧图像匹配对应的视角方向坐标；
根据视角方向坐标确定视角指向线，视角指向线所指示的方向即为相应图像的视角方向。
视角指向线是以对原始全景内容进行渲染采用的三维几何形体的中心为原点，且穿过用于在原始全景内容上圈定显示范围的视界的几何中心的直线。本申请中可以将视角指向线上除原点外的一个点的直角坐标作为视角方向坐标表示视角指向线，在得到视角方向坐标后，根据视角方向坐标确定的点和原点即可确定出视角指向线；或者
本申请中也可以通过表示视角指向线的角坐标作为视角方向坐标，在得到表示视角指向线的角坐标后，可以直接根据角坐标确定出视角指向线。
在确定每一帧图像的视角方向后，要以推荐的视角展现原始全景内容，需要将视界在视角方向上圈定的显示范围内的画面显示在屏幕上。
具体而言，本申请中根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上，可以包括：
确定视角指向线与对原始全景内容进行渲染采用的三维几何形体的交点；
以上述交点为视界的几何中心，将视界在原始全景内容上圈定的显示范围内的画面显示在屏幕上。
本申请的方法不仅适用于全景视频，同样适用于全景图片。全景图片的制作者也会有推荐视角的定义和呈现需求。应用于全景视频的方法同样可以应用于全景图片。对于全景图片，例如可以将推荐视角信息存储到文件的一个区域(例如PNG文件的话辅助数据块)中。播放图片时提取推荐视角信息并用于呈现。
不仅如此，在本申请的一可选实施例中，也可以设置推荐视角播放模式和用户控制播放模式这两种模式。在播放原始全景内容的过程中，可以实时检测观看者是否通过姿态传感器或手势进行视角调整，如果观看者通过姿态传感器或手势进行视角调整，则切换到用户控制播放模式，完全由观看者进行播放的控制。如果检测到在一预定时间内，观看者未通过姿态传感器或手势进行播放控制调整，则切换到推荐视角模式，以推荐的视角向观看者展现原始全景内容。这种方式可以更加丰富用户的观看体验，提高用户满意度。
如图5所示，本申请还提供了一种生成全景内容的装置，包括：
一获取单元，用于获取原始全景内容；
一记录单元，用于为原始全景内容中的每一帧图像记录推荐视角信息，推荐视角信息用于在播放原始全景内容时，根据推荐视角信息以推荐的视角向用户展现全景内容；
一传输单元，用于将推荐视角信息复用到原始全景内容中传输或进行单独传输。
为了能够实现按照推荐的视角展示原始全景内容，需要首先获取到原始全景内容，例如，对于拍摄设备拍摄的全景视频和全景图片等，获取单元可以直接从拍摄设备获取原始全景内容；如果原始全景内容已经下载到手机等展现设备上，获取单元也可以从展现设备上获取原始全景内容；对于全景动画和计算机生成的全景画面，获取单元可以从相应的制作设备上获取相应的原始全景内容。
进一步，推荐视角信息包括视角方向坐标和帧标识；
其中，视角方向坐标为能够表示视角指向线的坐标；
视角指向线用于指示视角方向，是以对原始全景内容进行渲染采用的三维几何形体的中心为原点，且穿过用于在原始全景内容上圈定显示范围的视界的几何中心的直线；
帧标识为能够唯一表示推荐视角信息所属帧的标识信息。
进一步，记录单元记录原始全景内容中的每一帧图像的推荐视角信息，包括：
针对每一帧图像确定视角指向线；
将所确定的视角指向线上除原点外的一个点的直角坐标或者表示视角指向线的角坐标作为对应图像的视角方向坐标进行记录，并记录图像的帧标识。
进一步，记录单元针对每一帧图像确定视角指向线，包括：
在播放原始全景内容的同时检测到视角方向输入完成后，根据对原始全景内容进行渲染采用的三维几何形体的中心和屏幕上当前展示的画面的中心点确定视角指向线；或者，
在播放原始全景内容的同时检测到感兴趣的对象选择完成后，在每一帧中识别并跟踪所选对象，将展现所选对象为视角的画面的中心点作为视界的几何中心，根据对原始全景内容进行渲染采用的三维几何形体的中心和视界的几何中心确定视角指向线。
进一步，传输单元将推荐视角信息复用到原始全景内容中传输，包括：
如果原始全景内容采用MP4文件格式，则将推荐视角信息作为视角轨，将视角轨的属性、视角轨数据的随机存取位置信息记录在元数据moov中，将视角轨数据记录在mdat中，并完成复用合成；
如果原始全景内容采用MPEG2TS文件格式，则将推荐视角信息作为视角轨，将视角轨的属性、视角轨数据的随机存取位置信息记录在业务信息SI/节目说明信息PSI中，将视角轨数据作为基本码流Elementary Stream记录，并完成复用合成；
传输单元将推荐视角信息进行单独传输，包括：
在实时流传输协议RTSP流媒体传送中，将推荐视角信息作为视角轨，将视角轨的属性记录在描述DESCRIBE应答的描述信息中传输，将视角轨数据作为一个单独的轨数据进行传输。
如图6所示，本申请还提供了一种展现全景内容的装置，包括：
一获取单元，用于获取原始全景内容以及该原始全景内容对应的推荐视角信息；
一渲染单元，用于将原始全景内容渲染到三维几何形体上；
一视角方向确定单元，用于根据原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向；
一显示单元，用于根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上。
进一步，推荐视角信息包括视角方向坐标和帧标识；
视角方向确定单元根据原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向，包括：
根据推荐视角信息中包含的帧标识匹配每一帧图像对应的视角方向坐标；
根据视角方向坐标确定视角指向线，视角指向线所指示的方向即为相应图像的视角方向。
进一步，显示单元根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上，包括：
确定视角指向线与对原始全景内容进行渲染采用的三维几何形体的交点；
以交点为视界的几何中心，将视界在原始全景内容上圈定的显示范围内的画面显示在屏幕上。
虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种生成全景内容的方法，其特征在于，包括：
获取原始全景内容；
为所述原始全景内容中的每一帧图像记录推荐视角信息，所述推荐视角信息用于在播放所述原始全景内容时，根据所述推荐视角信息以推荐的视角展现全景内容；
将所述推荐视角信息复用到所述原始全景内容中传输或进行单独传输；
所述推荐视角信息包括视角方向坐标和帧标识；
其中，所述视角方向坐标为能够表示视角指向线的坐标；
所述视角指向线用于指示视角方向，是以对所述原始全景内容进行渲染采用的三维几何形体的中心为原点，且穿过用于在所述原始全景内容上圈定显示范围的视界的几何中心的直线；
所述帧标识为能够唯一表示推荐视角信息所属帧的标识信息。
2.根据权利要求1所述的方法，其特征在于，所述为所述原始全景内容中的每一帧图像记录推荐视角信息，包括：
针对每一帧图像确定所述视角指向线；
将所确定的视角指向线上除原点外的一个点的直角坐标或者表示所述视角指向线的角坐标作为对应图像的视角方向坐标进行记录，并记录图像的帧标识。
3.根据权利要求2所述的方法，其特征在于，所述针对每一帧图像确定所述视角指向线，包括：
在播放原始全景内容的同时检测到视角方向输入完成后，根据对原始全景内容进行渲染采用的三维几何形体的中心和屏幕上当前展示的画面的中心点确定所述视角指向线；或者，
在播放原始全景内容的同时检测到感兴趣的对象选择完成后，在每一帧中识别并跟踪所选对象，将展现所选对象为视角的画面的中心点作为视界的几何中心，根据对原始全景内容进行渲染采用的三维几何形体的中心和视界的几何中心确定所述视角指向线。
4.根据权利要求1～3任意之一所述的方法，其特征在于：
所述将所述推荐视角信息复用到所述原始全景内容中传输，包括：
如果所述原始全景内容采用MP4文件格式，则将所述推荐视角信息作为视角轨，将视角轨的属性、视角轨数据的随机存取位置信息记录在元数据moov中，将视角轨数据记录在mdat中，并完成复用合成；
如果所述原始全景内容采用MPEG2TS文件格式，则将所述推荐视角信息作为视角轨，将视角轨的属性、视角轨数据的随机存取位置信息记录在业务信息SI/节目说明信息PSI中，将视角轨数据作为基本码流ElementaryStream记录，并完成复用合成；
所述将所述推荐视角信息进行单独传输，包括：
在实时流传输协议RTSP流媒体传送中，将所述推荐视角信息作为视角轨，将视角轨的属性、视角轨数据的随机存取位置信息记录在描述DESCRIBE应答的描述信息中传输，将视角轨数据作为一个单独的轨数据进行传输。
5.一种展现全景内容的方法，其特征在于，包括：
获取原始全景内容以及该原始全景内容对应的推荐视角信息，所述推荐视角信息用于在播放所述原始全景内容时，根据所述推荐视角信息以推荐的视角展现全景内容；
将所述原始全景内容渲染到三维几何形体上，根据所述原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向；
根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上；
所述推荐视角信息包括视角方向坐标和帧标识；
所述根据所述原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向，包括：
根据所述推荐视角信息中包含的帧标识为每一帧图像匹配对应的视角方向坐标；
根据所述视角方向坐标确定视角指向线，所述视角指向线所指示的方向即为相应图像的视角方向，所述视角指向线是以对所述原始全景内容进行渲染采用的三维几何形体的中心为原点，且穿过用于在所述原始全景内容上圈定显示范围的视界的几何中心的直线。
6.根据权利要求5所述的方法，其特征在于，所述根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上，包括：
确定所述视角指向线与对所述原始全景内容进行渲染采用的三维几何形体的交点；
以所述交点为视界的几何中心，将所述视界在所述原始全景内容上圈定的显示范围内的画面显示在屏幕上。
7.一种生成全景内容的装置，其特征在于，包括：
一获取单元，用于获取原始全景内容；
一记录单元，用于为所述原始全景内容中的每一帧图像记录推荐视角信息，所述推荐视角信息用于在播放所述原始全景内容时，根据所述推荐视角信息以推荐的视角展现全景内容；
一传输单元，用于将所述推荐视角信息复用到所述原始全景内容中传输或进行单独传输；
所述推荐视角信息包括视角方向坐标和帧标识；
其中，所述视角方向坐标为能够表示视角指向线的坐标；
所述视角指向线用于指示视角方向，是以对所述原始全景内容进行渲染采用的三维几何形体的中心为原点，且穿过用于在所述原始全景内容上圈定显示范围的视界的几何中心的直线；
所述帧标识为能够唯一表示推荐视角信息所属帧的标识信息。
8.一种展现全景内容的装置，其特征在于，包括：
一获取单元，用于获取原始全景内容以及该原始全景内容对应的推荐视角信息，所述推荐视角信息用于在播放所述原始全景内容时，根据所述推荐视角信息以推荐的视角展现全景内容；
一渲染单元，用于将所述原始全景内容渲染到三维几何形体上；
一视角方向确定单元，用于根据所述原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向；
一显示单元，用于根据每一帧图像的视角方向，将视界在该视角方向上圈定的显示范围内的画面显示在屏幕上；
所述推荐视角信息包括视角方向坐标和帧标识；
所述根据所述原始全景内容的每一帧图像的推荐视角信息，确定每一帧图像的视角方向，包括：
根据所述推荐视角信息中包含的帧标识为每一帧图像匹配对应的视角方向坐标；
根据所述视角方向坐标确定视角指向线，所述视角指向线所指示的方向即为相应图像的视角方向，所述视角指向线是以对所述原始全景内容进行渲染采用的三维几何形体的中心为原点，且穿过用于在所述原始全景内容上圈定显示范围的视界的几何中心的直线。
CN201610851526.XA 2016-09-26 2016-09-26 生成、展现全景内容的方法及装置 Active CN106331732B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610851526.XA CN106331732B (zh) 2016-09-26 2016-09-26 生成、展现全景内容的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610851526.XA CN106331732B (zh) 2016-09-26 2016-09-26 生成、展现全景内容的方法及装置

Publications (2)

Publication Number Publication Date
CN106331732A CN106331732A (zh) 2017-01-11
CN106331732B true CN106331732B (zh) 2019-11-12

Family

ID=57820123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610851526.XA Active CN106331732B (zh) 2016-09-26 2016-09-26 生成、展现全景内容的方法及装置

Country Status (1)

Country Link
CN (1) CN106331732B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108510433B (zh) * 2017-02-28 2020-03-24 贝壳找房(北京)科技有限公司 空间展示方法、装置及终端
CN106961597B (zh) * 2017-03-14 2019-07-26 深圳Tcl新技术有限公司 全景视频的目标追踪显示方法及装置
WO2018171758A1 (en) * 2017-03-24 2018-09-27 Mediatek Inc. Method and apparatus for deriving vr projection, packing, roi and viewport related tracks in isobmff and supporting viewport roll signaling
CN110651482B (zh) * 2017-03-30 2022-02-22 联发科技股份有限公司 发信isobmff的球面区域信息的方法和装置
CN108737850B (zh) * 2017-04-21 2020-03-03 传线网络科技（上海）有限公司 一种视频推荐方法、服务器及客户端
CN107172502B (zh) * 2017-04-28 2020-01-21 北京奇艺世纪科技有限公司 虚拟现实视频播放控制方法及装置
CN107330960A (zh) * 2017-06-28 2017-11-07 北京疯景科技有限公司 生成、播放图像的方法及装置
CN109218274A (zh) * 2017-07-07 2019-01-15 华为技术有限公司 一种媒体信息的处理方法及装置
US10613703B2 (en) * 2017-08-18 2020-04-07 Adobe Inc. Collaborative interaction with virtual reality video
CN110035316B (zh) * 2018-01-11 2022-01-14 华为技术有限公司 处理媒体数据的方法和装置
CN110166764B (zh) * 2018-02-14 2022-03-01 阿里巴巴集团控股有限公司 虚拟现实vr直播中的视角同步方法及装置
CN108765524B (zh) * 2018-06-06 2022-04-05 微幻科技(北京)有限公司 基于全景照片的动画生成方法及装置
CN110876051B (zh) * 2018-08-29 2023-04-11 中兴通讯股份有限公司 视频数据的处理，传输方法及装置，视频数据的处理系统
CN110929056B (zh) * 2018-09-19 2023-04-07 宏碁股份有限公司 多媒体文件的产生方法与播放方法、产生装置与播放装置
CN115883882B (zh) * 2018-09-19 2025-09-12 中兴通讯股份有限公司 图像处理方法、装置、系统、网络设备、终端及存储介质
CN111200759B (zh) * 2018-11-16 2021-07-06 北京字节跳动网络技术有限公司 一种全景视频的播放控制方法、装置、终端及存储介质
CN111200749A (zh) * 2018-11-16 2020-05-26 北京字节跳动网络技术有限公司 全景视频的播放控制方法、装置、电子设备及存储介质
CN109814733B (zh) * 2019-01-08 2022-11-08 百度在线网络技术（北京）有限公司 基于输入的推荐信息生成方法和装置
CN109788370A (zh) * 2019-01-14 2019-05-21 北京奇艺世纪科技有限公司 一种全景视频播放方法、装置及电子设备
EP3952304A4 (en) * 2019-03-29 2022-05-04 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
CN111954003A (zh) * 2019-05-17 2020-11-17 阿里巴巴集团控股有限公司 全景视频播放方法以及装置
CN112073748B (zh) * 2019-06-10 2022-03-18 北京字节跳动网络技术有限公司 全景视频的处理方法、装置及存储介质
CN110225405B (zh) * 2019-07-12 2021-06-25 青岛一舍科技有限公司 一种全景视频播放方法及装置
CN110312170B (zh) * 2019-07-12 2022-03-04 青岛一舍科技有限公司 一种智能调整视角的视频播放方法及装置
CN112954443A (zh) * 2021-03-23 2021-06-11 影石创新科技股份有限公司 全景视频的播放方法、装置、计算机设备和存储介质
CN115134604A (zh) * 2021-03-26 2022-09-30 影石创新科技股份有限公司 全景视频压缩方法、装置、计算机设备和存储介质
CN115103114B (zh) * 2022-06-16 2024-06-14 京东方科技集团股份有限公司 全景视频的视角跟踪方法、装置、设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101456002B1 (ko) * 2007-06-26 2014-11-03 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
CN101308018B (zh) * 2008-05-30 2010-09-15 汤一平 基于双目全方位视觉传感器的立体视觉测量装置
US9538078B2 (en) * 2014-03-02 2017-01-03 Google Inc. User interface for wide angle photography
CN104010225B (zh) * 2014-06-20 2016-02-10 合一网络技术(北京)有限公司 显示全景视频的方法和系统
CN105208368A (zh) * 2015-09-23 2015-12-30 北京奇虎科技有限公司 显示全景数据的方法及装置
CN105898271A (zh) * 2015-12-28 2016-08-24 乐视致新电子科技（天津）有限公司 360度全景视频的播放方法、播放模块及移动终端

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843541A (zh) * 2016-03-22 2016-08-10 乐视网信息技术（北京）股份有限公司 全景视频中的目标追踪显示方法和装置

Also Published As

Publication number Publication date
CN106331732A (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN106331732B (zh) 生成、展现全景内容的方法及装置
EP3479257B1 (en) Apparatus and method for gaze tracking
CN106792246B (zh) 一种融合式虚拟场景互动的方法及系统
KR101210315B1 (ko) 3차원 비디오 위에 그래픽 객체를 오버레이하기 위한 추천 깊이 값
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US20080246759A1 (en) Automatic Scene Modeling for the 3D Camera and 3D Video
CN106534827B (zh) 基于用户视角播放全景视频的方法及系统
CN104219584A (zh) 基于增强现实的全景视频交互方法和系统
JP2011086283A (ja) 動的レンダリング用３次元ビデオキャプチャ・ワークフロー用のシステム及び方法
US10511767B2 (en) Information processing device, information processing method, and program
EP1843581A2 (en) Video processing and display
WO2021135334A1 (zh) 处理直播内容的方法、装置、系统
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
TW201520827A (zh) 針對多媒體資料提供擴增實境效果之系統和方法
KR101830786B1 (ko) 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법
WO2018027067A1 (en) Methods and systems for panoramic video with collaborative live streaming
US10764655B2 (en) Main and immersive video coordination system and method
US20090153550A1 (en) Virtual object rendering system and method
US20210195300A1 (en) Selection of animated viewing angle in an immersive virtual environment
JP2019512177A (ja) 装置および関連する方法
CN107683604A (zh) 生成装置
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
WO2018004933A1 (en) Apparatus and method for gaze tracking
WO2016167160A1 (ja) データ生成装置および再生装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant