CN111345037B - 虚拟现实影像提供方法及利用其的程序 - Google Patents

Abstract

本发明一个实施例的虚拟现实影像提供方法及利用其的程序可以包括：从服务器接收虚拟现实影像数据并分配给第一图层的步骤；生成显示至少一个控制器的控制信息的第二图层的步骤；接收所述至少一个控制器的动作信息，基于所述动作信息，决定所述虚拟现实影像数据内既定对象与所述控制信息的冲突地点的步骤；及将包括基于所述冲突地点的法线数据而变形的所述控制信息在内的结合数据分配给所述第二图层的步骤；及合成所述第一图层及所述第二图层而生成最终影像帧的步骤。

Description

虚拟现实影像提供方法及利用其的程序

技术领域

涉及虚拟现实影像提供方法及利用其的程序，更详细而言，涉及一种与虚拟现实内容内的对象的形状及表面相符地合成图像交提供的方法或程序。

背景技术

所谓虚拟现实(VR；Virtual Reality)，作为通过计算机而生成的虚拟的空间，是通过三维视觉效果赋予现实性的空间。体现虚拟现实所需的技术作为实时处理使用者的输入而能够获得如同在现实世界中一样的感觉的技术，是超越多媒体的新一代技术。

虚拟现实环境通过向使用者提供身临其境的沉浸感，不仅能够模拟实际存在的物体，而且使得可以体验实际不存在的物体或状况。这种虚拟现实环境可以应用于多种多样的领域。例如，在从汽车设计或模拟实验等工程学领域到医疗领域、文化内容领域，实际上正在多样的领域中使用。

这种虚拟现实(VR)根据看待的观点，正在与诸如虚拟环境(VirtualEnvironment)、虚拟临场(Virtual Presence)、人工世界(Artificial World)、虚拟世界(Virtual World)、网络空间(Cyber space)的术语混用，但一般可以指，向使用者提供计算机创造的与真空世界类似的三维虚拟世界，提供能够与该虚拟世界实时自由操作的输入装置和与使用者的操作对应地提供实际性感觉的感觉反馈(Sensory feedback)装置，从而使得可以进行人工体验和经验的技术。

另一方面，最近，将移动终端结合于VR装置，移动终端执行生成VR影像所需的信息处理后传递给VR装置的方式正在登场。这虽然是由作为执行信息处理的计算机的移动终端与进行播放的VR装置进行有线连接，但可以结合于移动终端VR装置，因而可以解决因电缆而发生的问题。但是，与PC相比，移动终端存在难以驱动高配置的程序，难以驱动高配置的VR游戏或难以播放高分辨率的VR影像的问题。

发明内容

要解决的问题

本发明根据一个实施例，可以将生成虚拟现实影像的运算装置与生成需要在虚拟现实影像中表现的内容的装置分离，无线提供高配置的虚拟现实影像。

另外，发明根据一个实施例，可以将需要在虚拟现实影像内存在的对象体的表面显示的内容变形为最佳形态并提供给使用者。

本发明要解决的课题不限于以上提及的课题，未提及的其他课题是普通技术人员可以从以下记载而明确理解的。

解决问题的方案

本发明一个实施例的虚拟现实影像提供方法可以包括：从服务器接收虚拟现实影像数据并分配给第一图层的步骤；生成显示至少一个控制器的控制信息的第二图层的步骤；接收所述至少一个控制器的动作信息，基于所述动作信息，决定所述虚拟现实影像数据内既定对象与所述控制信息的冲突地点的步骤；及将包括考虑所述冲突地点的法线数据而变形的所述控制信息在内的结合数据分配给所述第二图层的步骤；及合成所述第一图层及所述第二图层而生成最终影像帧的步骤。

根据另一实施例，所述接收虚拟现实数据并分配给第一图层的步骤可以包括：将所述虚拟现实影像数据分割成多个覆盖项目并按各个独立的信道单位接收的步骤；及结合通过所述独立的信道而接收的多个覆盖项目并分配给多个第一图层的步骤。

根据又一实施例，所述决定冲突地点的步骤可以包括：通过第一信道，接收包括决定所述冲突地点所需的对象在内的覆盖项目的步骤；利用所述接收的覆盖项目，在所述客户端中决定冲突地点的步骤；及决定所述冲突地点的法线矢量的步骤。

根据又一实施例，虚拟现实影像提供方法的所述决定冲突地点的步骤可以包括：将所述控制器的动作信息传输到服务器，请求所述冲突地点及法线数据的步骤；及所述服务器接收已决定的所述虚拟现实影像数据内既定对象与所述控制信息的冲突地点及法线数据的步骤。

此外，还可以提供一种计算机可读记录介质，记录体现本发明所需的不同方法、不同系统及实施所述方法所需的计算机程序。

发明的效果

根据如上所述的本发明，可以具有如下多样的效果。

根据一个实施例，可以弥补因无线传输虚拟现实影像帧而导致的特定时间点影像帧遗漏，使用者即使在未接收特定的影像帧的情况下，也可以虚拟现实空间的整体性时间点不错乱地自然地播放影像。

另外，根据一个实施例，只提取全体影像中的一帧并传输，或只生成符合播放方向数据的帧并传输，从而即使在以无线方式提供虚拟现实影像内容时，也可以提供高分辨率的影像或减小通信流量。

另外，根据一个实施例，可以即刻对使用者的移动作出反应，在虚拟现实影像的对象表面提供优化的实时影像。因此，可以提高虚拟现实影像的现实感和沉浸感。

另外，根据一个实施例，即使因网络上的延迟而发生帧遗漏时或在执行虚拟现实影像补正时，也可以弥补影像帧的遗漏，可以防止诸如十字瞄准线(crosshair)的图像显示于并非使用者实际指示地点的其他地点。

本发明的效果不限于以上提及的效果，未提及的其他效果是普通技术人员可以从以下记载明确理解的。

附图说明

图1是一个实施例的虚拟现实影像提供系统的构成图。

图2是一个实施例的虚拟现实影像提供方法的顺序图。

图3是显示一个实施例的在虚拟现实影像中显示控制信息的一个示例的图。

图4及图5是显示一个实施例的利用法线矢量的一个示例的图。

图6是根据一个实施例，图示包括第一图层及第二图层的虚拟现实影像播放方法的图。

图7是关于本发明一个实施例的虚拟现实影像传输方法的顺序图。

图8是关于本发明一个实施例的以最初全体影像为基础生成的虚拟现实影像帧的传输方法的顺序图。

图9是关于本发明一个实施例的客户端的虚拟现实影像播放方法的顺序图。

图10是显示当第二最终影像帧遗漏且不提供第二替代影像帧时，通过客户端向使用者提供的影像的变化的示例图。

图11是根据本发明的一个实施例，客户端以第一时间点的影像方向数据和第二时间点的播放方向数据的差异值为基础而生成的第二替代影像帧的示例图。

图12是显示当客户端移动时，因最终影像帧无遗漏帧地依次提供而导致的物体位置变化的示例图。

图13是根据本发明的一个实施例，提供反映客户端的移动程度并在第一最终影像帧补正各个物体位置的第二替代影像帧的示例图。

具体实施方式

下面参照附图，详细说明本发明优选实施例。如果参照后面与附图一同详细叙述的实施例，本发明的优点、特征以及达成其的方法将会明确。但是，本发明并非限定于以下公开的实施例，可以以互不相同的多样形态体现，这些实施例只提供用于使本发明的公开更完整，向本发明所属技术领域的技术人员完整地告知发明的范畴，本发明只由权利要求项的范畴所定义。在通篇说明书中，相同参照符号指称相同构成要素。

如果没有不同的定义，本说明书中使用的所有术语(包括技术及科学术语)可以用作本发明所属技术领域的技术人员可以共同理解的意义。另外，一般使用的字典定义的术语，只要未明确地特别定义，不得过于或过度地解释。

本说明书中使用的术语用于说明实施例，并非要限制本发明。在本说明书中，只要在语句中未特别提及，单数型也包括复数型。说明书中使用的“包括(comprises)”及/或“包括的(comprising)”，不排除在提及的构成要素之外存在或添加一个以上的其他构成要素。

下面参照附图，对本发明一个实施例的虚拟现实影像接收发送系统进行说明。

图1是本发明一个实施例的虚拟现实影像接收发送系统的构成图。

本发明一个实施例的虚拟现实影像接收发送系统包括服务器100及客户端200。

服务器100是生成虚拟现实(Virtual Reality；VR)影像的计算机。服务器100在内部执行信息处理，执行生成将向客户端200提供的VR影像的功能。例如，当VR影像是因特定游戏驱动产生的影像时，服务器100可以驱动游戏程序，生成适当的影像数据，通过有线通信或无线通信而传输给客户端200。

另外，如果从服务器100接收影像数据，则客户端200可以执行需在虚拟现实影像中显示的信息显示，并在画面中进行显示。此时，在显示信息时，可以包括控制器及包括控制器中心指针的用户图形界面。

另外，可以决定虚拟现实影像中包含的对象和基于上面指针指向方向的冲突地点，以便在使用者的视线或者控制器或HMD中心指针指向的位置，准确地表现控制信息(例如，十字瞄准线)。冲突地点的决定可以在服务器100或客户端200中执行。客户端200可以生成由决定的冲突地点及基于冲突地点的法线矢量而变形的控制信息结合的最终影像帧。具体而言，可以计算用于代表“使用者视线”、“控制器的中心指针”等的结合数据和虚拟现实影像的冲突地点，以冲突地点的法线矢量为基础，将结合数据变形为最佳形态，将最终渲染的最终虚拟现实影像帧提供给使用者，在对图2的说明中详细叙述。

另外，服务器100可以执行将影像方向数据作为元信息而结合于生成的VR影像的功能。所述影像方向数据可以是借助于服务器100而生成的影像帧的三维空间上的方向相关数据。

另外，服务器100可以从客户端200接收播放方向数据。服务器100可以将要结合于影像帧的影像方向数据，决定为接收的播放方向数据，生成与播放方向数据(或影像方向数据)相应的VR影像帧。

客户端200是接收与虚拟现实影像相应的影像数据并播放的装置。即，客户端200执行播放从服务器100接收的VR影像数据并提供给佩戴者的功能。客户端200可以相当于VR装置本身，也可以相当于移动终端结合于VR装置的形态。例如，当VR装置与移动终端结合而构成客户端200时，移动终端可以从服务器100接收生成的影像数据，通过连接其的有线电缆或近距离无线通信，向VR装置传递影像帧并显示于画面中。

VR装置可以由多样形态构成。例如，VR装置可以在一个显示部中显示包含适合双眼的各个影像在内的影像帧，借助于各眼球方向的鱼眼透镜而生成为三维影像。另外，在另一实施例中，VR装置可以具备提供符合各个眼球的影像的2个显示部。

另外，客户端200可以执行测量播放方向数据的作用。所述播放方向数据可以是应在特定时间点、在所述客户端200的画面上播放的影像帧的方向相关数据。即，佩戴者可以将客户端200佩戴于眼球，测量观察的方向，将其决定为播放方向数据。例如，播放方向数据可以包括高低角数据、方位角数据或倾斜度数据。客户端200具备一个以上的传感器(例如，陀螺仪传感器、加速度传感器、地磁传感器等)，测量佩戴客户端200的使用者的头部(或颈部)移动，可以包括高低角数据、方位角数据、倾斜度数据等。另外，客户端200可以执行将测量的播放方向数据通过无线通信传输给服务器100的功能。

所述高低角数据可以意味着水平面(例如，地平线)与客户端200的视线方向构成的角。即，所述高低角数据可以是随着使用者颈部上下移动而与水平面构成的角。

所述方位角数据作为代表方位的角度，可以意味着在水平面上以特定的基准方向为基准而旋转的角度。即，所述方位角数据可以根据以使用者的躯体(或颈部)为轴进行旋转的颈部移动而变更。

所述倾斜度数据可以意味着颈部以使用者的正面方向为轴进行旋转的角。即，所述倾斜度数据可以根据使用者颈部左右移动或使用者身体的整体性旋转等而变更。

另外，客户端200也可以测量佩戴者的移动。例如，当执行虚拟模拟训练或游戏时，使用者佩戴客户端200进行移动，因而客户端200可以以测量的使用者的移动程度为基础，向服务器100请求与移动的位置相符的影像帧。另外，客户端200如后所述，当未接收使用者移动的特定时间点的影像帧时，可以反映影像帧传输周期之间的使用者移动程度并执行影像帧的补正。

另外，客户端200在通过无线通信而接收影像帧时，如果特定的影像帧未接收，则可以进行补正而使得以前接收的影像帧符合使用者的移动，并显示于画面上。即，客户端200在第二时间点的最终影像帧未接收时，可以算出第一时间点的影像方向数据与所述第二时间点的播放方向数据的差异值，以所述差异值为基础，补正第一时间点的最终影像帧。所述第二时间点可以是从所述第一时间点经过所述最终影像帧的传输周期的时间点。

服务器100与客户端200可以通过无线通信连接。作为无线通信方式，可以利用Wi-Fi方式、蜂窝移动通信等。例如，当服务器100是使用者所在的特定空间内(例如，家里、虚拟现实体验空间内等)配置的计算机时，可以通过无线AP(例如，Wi-Fi AP)而执行客户端200与服务器100之间的通信。另外，例如，当服务器100是外部远程配置的计算机时，远程服务器100可以通过蜂窝移动通信或LAN通信等，向客户端200传输生成的影像帧。客户端200可以通过蜂窝移动通信而从基站接收影像帧，或通过WLAN而从无线AP接收影像帧。由此，使用者如果持有可无线通信的客户端200，则即使不在靠近服务器100计算机的位置，也可以接收从服务器100提供的VR影像并利用。

下面参照附图，对本发明一个实施例的虚拟现实影像提供方法及程序进行说明。

图2是关于本发明一个实施例的虚拟现实影像传输方法的顺序图。

在步骤S10中，客户端200从服务器100接收虚拟现实影像数据并分配给第一图层。

另外，客户端200可以将虚拟现实影像数据分割成多个覆盖项目，并按各个独立的信道单位接收。另外，之后可以对通过独立的信道而接收的多个覆盖项目进行结合，分配给多个第一图层。

因此，服务器100不需要将各覆盖项目作为一个整体图像进行传输，可以作为多个图像进行传输。(例如，可以独立地向右侧上端传输能量条，向下端传输道具目录等)

可以支持各覆盖项目的独立的压缩方式。另外，各覆盖项目为了在客户端200的画面中提供，需要具有(x,y)坐标，如果各覆盖项目还具有z-order(深度信息)，则可以将覆盖项目分配到另一图层。因此，服务器100在每当覆盖项目需要更新时，可以向客户端200只传输相应部分。如果利用这种方式，如后所述，即使在客户端200中，也可以只接收特定范围内数据并实时实施冲突地点的决定。

在步骤S20中，客户端200生成对至少一个控制器的控制信息进行显示的第二图层。第二图层包括至少一个图形用户界面(GUI:Graphic User Interface)。控制器的控制信息可以包括控制器的虚拟现实影像中的图像数据、代表控制器指示方向的图像、代表控制器与虚拟现实影像内对象相冲突的地点的图像(例如，十字瞄准线)等。

在一个实施例的虚拟现实影像提供方法中，为了显示因控制器的控制而导致的移动，可以显示诸如鼠标光标或十字瞄准线的控制信息，为了使网络延迟最小化，以便内容即刻对使用者的移动作出反应，控制信息被分配给独立的图层。

另一方面，为了将这种控制信息一同显示于虚拟现实影像，需要反映与虚拟现实影像内对象相互作用的结果。

例如，如果参照图3，为了准确显示出虚拟现实影像300内控制器现在指向什么，可以在控制器的图像301及控制器指向的地点紧上方显示控制信息(302,指针)。当然，并非限定于这种构成，当在视线中央显示指针图像时，也可以给使用者更舒适的沉浸感。另一方面，由于一个实施例的指针将显示的内容对象存在于服务器100上，因而为了将其通过网络加以体现，控制器及指针可以直接在客户端200分配给独立的图层，且可以使得由服务器100或客户端200决定从服务器传输的影像数据与指针冲突的地点并进行反映。

如果再次参照图2，在步骤S30中，至少一个控制器的动作信息被客户端200接收，基于动作信息，决定虚拟现实影像数据内既定对象与控制信息的冲突地点。其中，控制器可以包括鼠标、操纵杆、HMD(Head Mounted Device，头戴式设备)等控制装置。在控制器的动作信息中，可以包括控制器的位置信息及关于控制器指向方向的信息。

一个实施例的冲突地点及法线矢量可以由客户端200决定。

服务器100通过第一信道，将包括决定冲突地点所需的对象在内的覆盖项目传输给客户端200。客户端200可以利用接收的覆盖项目，算出冲突地点。另外，客户端200可以决定冲突地点的法线矢量。其中，服务器100只将计算冲突地点所需的覆盖项目通过独立的信道传输给客户端200，从而即使在客户端200中，也可以利用比较低的资源来计算冲突地点。

另一实施例的冲突地点及法线矢量可以由服务器100决定并传输给客户端200。

客户端200可以将控制器的动作信息传输给服务器100，服务器100可以基于接收的控制器的动作信息，决定与虚拟现实影像内对象冲突的地点及法线矢量。服务器100将冲突计算中使用的控制器的动作信息、控制器指向方向线上与对象冲突的位置及冲突位置上关于冲突对象的法线矢量信息传输给客户端200。

又一实施例的服务器100可以将冲突计算中使用的控制器位置信息、控制器指向方向线上与对象冲突的位置信息及关于冲突位置上冲突对象的法线矢量传输给客户端200。作为直接反映使用者移动的要素，控制器及指针移动的延迟极大地损害沉浸感，但作为表现对使用者移动的间接性反应的要素，控制器与指针间的距离及指针方向的延迟，不成为对沉浸感造成很大妨碍的要素，因而即使在服务器中进行冲突计算，也可以为使用者保持沉浸感。

在步骤S40中，客户端200可以将包括基于冲突地点的法线矢量而变形的控制信息在内的至少一个结合数据分配给第二图层。

在步骤S50中，客户端200可以合成第一图层及第二图层而生成最终影像帧。

图4及图5说明了为显示控制信息而需要法线矢量的理由。

如果参照图4，图示了虚拟现实影像401不考虑法线矢量而在对象410上显示指针图像420的情形。另外，如果参照图5，图示了在虚拟现实影像402中考虑法线矢量而在对象上显示指针图像430的一个示例。即，如果利用法线矢量，则可以掌握在虚拟现实影像内将结合图像的对象的配置状态(倾斜或躺倒的状态)。另一方面，在图5中，虽然以矩形形态的对象为例，但当对象具有曲面时，可以追加考虑掌握曲面形态所需的信息。(例如，可以从服务器接收一个区域内的多个位置数据和各地点的法线数据。)

图6是根据一个实施例，图示包括第一图层及第二图层的虚拟现实影像播放方法的图。

如果参照图6，图示了显示从服务器接收的影像帧的第一图层300及显示至少一个图形用户界面及控制信息410及420的第二图层400。

在第一图层300中显示的影像帧在从服务器100传输影像帧的每个传输周期发生变更。

在第二图层400中显示的至少一个图形用户界面410及420，用于控制客户端200或与客户端200中显示的影像对应的应用程序，或显示与在客户端200中显示的影像对应的信息。

例如，至少一个图形用户界面及控制信息410及420可以包括用于控制客户端200中显示的影像的播放或显示与影像对应的信息所需的至少一个用户界面。

作为另一示例，至少一个图形用户界面及控制信息410及420可以包括用于显示客户端200中显示的游戏的操作或与游戏对应的信息所需的至少一个用户界面。

当客户端200随着使用者的移动而移动时，在第一图层300中显示的影像帧变更为与根据客户端200的位置及方向而决定的播放方向数据及影像方向数据对应的影像帧。但是，第二图层400中显示的图形用户界面的位置不变更，可以与使用者的视线一同移动。

同样地，根据公开的实施例，在第一图层300中显示第一时间点的影像帧，从第一时间点起，当未接收到作为经过影像帧传输周期的时间点的第二时间点影像帧时，客户端200算出第一时间点的影像方向数据与第二时间点的播放方向数据的差异，以差异值为基础，补正第一影像帧而生成第二替代影像帧。

当在一个图层中，一同显示影像帧和图形用户界面时，根据所述实施例，当补正第一影像帧时，在第一影像帧中显示的图形用户界面也一同移动或旋转，会使使用者感到不便。

因此，根据图6所示的实施例，将影像帧分配给第一图层300，将图形用户界面410及控制信息420分配给第二图层400，从而使得消除影像帧补正导致的不便。

具体而言，客户端200将生成的第二替代影像帧分配给第一图层300进行显示。

相反，第二图层400是在客户端200中生成的，不发生延迟或遗漏。另外，在第二图层400中显示的图形用户界面410及控制信息420的位置，在帧内不变更，因而不需要对在第二图层500中显示的帧进行补正。

因此，客户端200对包括完成补正的第二替代影像帧在内的第一图层300和未进行补正的第二图层400进行合成，生成最终影像帧，并显示生成的最终影像帧。

客户端200既可以从服务器100接收用于生成在第二图层400中显示的图形用户界面410及420所需的信息，也可以直接获得。

即使在从服务器100接收信息而生成图形用户界面410及控制信息420的情况下，为了生成图形用户界面410及控制信息420而需要的信息的量，与在第一图层300中显示的影像帧中包含信息的量相比也非常小。另外，图形用户界面410及控制信息420不同于在第一图层300中显示的影像帧，很多情况下不需要随着客户端200的移动或时间流逝而即刻变化，因而将第一图层300和第二图层400分离并处理，从而具有的效果是，可以容易地补正影像，在公开实施例的影像帧的补正过程中，还可以防止图形用户界面一同补正而给使用者带来不便的现象。

图7是关于一个实施例的虚拟现实影像传输方法的顺序图。

如果参照图7，本发明一个实施例的虚拟现实影像传输方法包括：服务器100生成最初影像帧的步骤S120；判断与所述最初影像帧相应的影像方向数据的步骤S140；将所述影像方向数据作为元信息而结合于所述最初影像帧，生成最终影像帧的步骤S160；及将所述最终影像帧通过无线通信传输给客户端200的步骤S180。

服务器100生成最初影像帧S120。服务器100可以驱动内部安装的程序而生成最初影像帧。所述最初影像帧意味着，传输到客户端200后，未接收特定影像帧时执行弥补所需的信息处理未执行的影像帧。例如，服务器100可以驱动游戏程序，生成游戏影像帧。

服务器100判断与所述最初影像帧相应的影像方向数据S140。所述影像方向数据是借助于所述服务器100而生成的影像帧的三维空间上的方向相关数据。在借助于服务器100而生成影像前，可以决定影像方向数据(例如，根据请求提供特定方向影像而确定将生成的影像方向后，生成对应的最初影像帧)，也可以在生成影像帧后，决定对应的影像方向数据。

服务器100将影像方向数据作为元信息而结合于最初影像帧，生成最终影像帧S160。然后，服务器100将最终影像帧通过无线通信传输给客户端200、S180。即，服务器100在客户端200判断了与影像帧对应的方向或未接收下个传输时间点(即，第二时间点)的影像帧的情况下，可以将影像方向数据结合于最初影像帧的最终影像帧传输给客户端200，以便能够通过之前时间点(即，第一时间点)影像帧的补正而进行弥补。

客户端200在因通信状态不良等而未从服务器100接收第二时间点的最终影像帧时，可以算出第一时间点的影像方向数据与所述第二时间点的播放方向数据的差异值，以所述差异值为基础，补正所述第一时间点的最终影像帧。所述第二时间点可以是从所述第一时间点起，经过所述最终影像帧的传输周期的时间点。

另外，可以还包括从所述客户端200接收播放方向数据的步骤S110。例如，如果佩戴者佩戴客户端200进行移动，则客户端200可以获得应在特定时间点通过画面向使用者提供的影像帧方向的相关数据(例如，使用者颈部移动的相关数据)并传输给服务器100。将借助于客户端200而测量的数据称为播放方向数据，服务器100可以在影像方向数据判断步骤S120中，以从客户端200接收的播放方向数据为基础，决定影像方向数据。即，服务器100可以将与从客户端200接收的播放方向数据一致的方向决定为将生成影像的方向。因此，服务器100可以将从客户端200接收的播放方向数据设置为影像方向数据S120，生成与设置的影像方向数据相符合的最初影像帧S100。

另外，所述最终影像帧生成步骤S160可以还包括将所述最终影像帧变换成各个眼球用影像帧的步骤。为了提供三维影像，左眼用影像和右眼用影像会需要有差异。因此，服务器100可以把将传输给客户端200的最终影像帧分别生成为左眼用最终影像帧及右眼用最终影像帧。

另外，所述最终影像帧生成步骤S160可以还包括将所述最终影像帧变换成符合所述客户端200画面的大小的步骤。即，服务器100可以符合客户端200画面大小地变换影像帧的大小，以便客户端200可以接收最终影像帧并直接播放。由此，可以使信息处理所需的配置比服务器100低的客户端200在变换得符合画面大小的过程中可能发生的时间延迟(delay)实现最小化。

图8是关于本发明一个实施例的以最初全体影像为基础生成的虚拟现实影像帧的传输方法的顺序图。

本发明另一实施例的虚拟现实影像传输方法包括：服务器100生成特定时间点的最初全体影像的步骤S100；从所述客户端200接收播放方向数据的步骤S110；从所述最初全体影像提取与所述播放方向数据相应的最初影像帧的步骤S121；将所述播放方向数据决定为影像方向数据的步骤S141；将所述影像方向数据作为元信息结合于所述最初影像帧而生成最终影像帧的步骤S160；及将所述最终影像帧通过无线通信传输给客户端200的步骤S180。下面，省略对已说明的步骤的具体说明。

服务器100获得特定时间点的最初全体影像S100。所述最初全体影像可以意味着包括使用者视线指向的所有方向的影像帧在内的影像。即，服务器100可以驱动内部特定的程序而生成特定时间点的全体影像，可以在已经生成的既定时间的全体影像(例如，借助于360度照相机而在既定时间期间拍摄的影像)中提取特定时间点的全体影像。

服务器100从客户端200接收播放方向数据S110。

服务器100从所述最初全体影像中提取与所述播放方向数据相应的最初影像帧S121。即，服务器100通过从客户端200接收的播放方向数据，判断影像帧请求的方向，可以从最初全体影像中提取与所述播放方向数据相应的最初影像帧。

服务器100将所述播放方向数据决定为影像方向数据S141。即，由于提取的最初影像帧是与所述播放方向数据对应的方向的影像帧，因而服务器100可以将从客户端200接收的播放方向数据设置为所述提取的最初影像帧的影像方向数据。

服务器100将所述影像方向数据作为元信息结合于所述最初影像帧而生成最终影像帧S160。服务器100将所述最终影像帧通过无线通信传输给客户端200、S180。

图9是关于本发明一个实施例的客户端200的虚拟现实影像播放方法的顺序图。

本发明又一实施例的虚拟现实影像播放方法包括：客户端200从服务器100接收与第一时间点相应的第一最终影像帧的步骤S200；如果未接收与第二时间点相应的第二最终影像帧，则比较与所述第一时间点相应的影像方向数据和与所述第二时间点相应的播放方向数据，算出差异值的步骤S220；按所述算出的差异值，补正所述第一最终影像帧，生成替代未接收的所述第二最终影像帧的第二替代影像帧的步骤S240；及将所述第二替代影像帧显示于画面的步骤S260。

客户端200从服务器100接收与第一时间点相应的第一最终影像帧S200。即，客户端200可以通过无线通信而从服务器100接收作为元信息而结合有影像方向数据的第一最终影像帧。所述影像方向数据可以是借助于所述服务器100而获得的影像帧的三维空间上的方向相关数据，所述最终影像帧可以是借助于所述服务器100而包括所述影像方向数据作为元信息的影像帧。

客户端200如果未接收与第二时间点相应的第二最终影像帧，则比较与所述第一时间点相应的影像方向数据和与所述第二时间点相应的播放方向数据，算出差异值S220。所述第二时间点可以是从所述第一时间点起，经过所述最终影像帧的传输周期的时间点。客户端200在接收与第一时间点对应的第一最终影像帧并显示后，经过最终影像帧的传输周期后，在第二时间点可能由于通信状态不良等理由而无法接收第二最终影像帧。此时，使用者替代第二时间点所期待的第二最终影像帧而继续显示第一最终影像帧，因而与第二时间点的播放方向数据同第一最终影像帧的影像方向数据之间的差异相应，会发生物体晃动的现象。即，在第二时间点，继续显示与第一时间点相应的第一最终影像帧后，在第三时间点(即，从第二时间点起，经过最终影像帧的传输周期的时间点)如果接收新的最终影像帧(即，第三最终影像帧)，则如图10所示，从第一最终影像帧直接变更为第三最终影像帧，越过与第二时间点相应的物体位置，从第一时间点的物体位置移动到第三时间点的物体位置，因而使用者会感觉到如同物体不自然地移动或晃动的现象。如果这种现象继续发生，则使用者会感受到眩晕现象。为了解决这种问题，客户端200需要生成将替代遗漏的第二最终影像帧的影像帧。因此，客户端200可以修订在第一时间点接收的第一最终影像帧，生成为第二时间点的影像帧(即，第二替代影像帧)。

客户端200为了将第一最终影像帧变换成符合第二时间点的影像帧，需要决定补正水平。为此，客户端200可以比较与所述第一时间点相应的影像方向数据和与所述第二时间点相应的播放方向数据，算出差异值。播放方向数据可以是应在特定时间点在所述客户端200画面上播放的影像帧的方向相关数据。播放方向数据可以通过VR装置内具备的传感器(例如，陀螺仪传感器、地磁传感器、加速度传感器等)测量。例如，客户端200在从服务器100接收包括与播放方向数据对应的影像方向数据在内的影像帧并提供给使用者时，客户端200可以计算与影像帧应提供的方向相应的第二播放方向数据同与第一最终影像帧方向相应的第一影像方向数据的差异，算出为应对第一最终影像帧进行补正的值。

所述播放方向数据及所述影像方向数据可以包括高低角数据及方位角数据。客户端200可以算出第二时间点的播放方向数据与第一时间点的影像方向数据之间的高低角及方位角差异。

另外，所述播放方向数据及所述影像方向数据可以包括作为以佩戴者正面方向为轴的旋转角度的倾斜度数据。客户端200可以算出第二时间点的播放方向数据与第一时间点的影像方向数据之间的倾斜度数据差异。

客户端200按照所述算出的差异值，补正所述第一最终影像帧，生成替代未接收的所述第二最终影像帧的第二替代影像帧S240。作为一个实施例，客户端200可以以所述差异值为基础，移动所述第一最终影像帧。即，客户端200可以按照高低角的差异值，使第一最终影像帧沿竖直方向移动，可以按照方位角的差异值，使第一最终影像帧沿水平方向移动。另外，客户端200可以按照倾斜度数据的差异值，旋转第一最终影像帧。如果以使用者的正面方向为轴，将颈部向特定的方向倾斜，则显示给使用者的物体进行旋转，因此，可以按照第一时间点的影像方向数据与第二时间点的播放方向数据间的倾斜度数据的差异值，旋转第一最终影像帧。

当客户端200根据所述差异值来补正第一最终影像帧时，在将向使用者提供的第二替代影像帧上，如图11所示发生空白区域。所述空白区域既可以按黑白处理，或者也可以处理成类似颜色的组合，以便佩戴者在视觉上最小地认知。

客户端200将所述第二替代影像帧显示于画面中S260。即，客户端200可以替代第二时间点遗漏的第二最终影像帧，将对第一最终影像帧进行补正的第二替代影像帧显示于画面中。

另外，当使用者佩戴客户端200进行移动时，客户端200掌握使用者的移动程度(例如，移动距离及移动方向、移动的步数等)，当未接收第二时间点的最终影像帧时，可以与使用者的移动程度相符地补正第一最终影像帧。作为一个实施例，在使用者移动的情况下，物体根据距离使用者的距离而在位置变化程度上存在差异。如图12所示，位于近处的物体随着使用者的移动而以大幅度移动，位于远处的物体随着使用者的移动而以比位于近处的物体小的幅度移动。因此，在虚拟现实影像中，只有反应这种由远近决定的物体移动幅度的差异，才能向使用者提供高现实感。为此，服务器可以包括多个物体(即，在影像帧内以各像素的集合表现的物体)分别距离客户端的距离信息(以下，深度信息)作为元信息而生成最终影像帧并传输。当第二时间点的第二最初影像帧遗漏时，客户端可以利用包括的一个以上传感器(例如，陀螺仪传感器、加速度传感器、地磁传感器等)算出使用者的移动程度，将各物体的深度信息反映于第一最终影像帧内的各个物体，生成第二替代影像帧。即，如图13所示，客户端可以根据第一时间点与第二时间点的客户端位置(即，佩戴客户端的使用者的位置)差异，按与第一最终影像帧内多个物体相应的像素执行补正，生成第二替代影像帧。另外，追加地，客户端可以在反映由物体配置的距离决定的物体移动幅度的差异并执行像素单位的物体补正后，在原有第一最终影像帧中，执行对物体曾配置的区域进行补偿的作业。客户端可以反映周边的颜色，利用特定的颜色组合，填充原有物体配置空间。

另外，作为另一实施例，当物体的移动幅度相异时，客户端根据大小最大的物体的配置位置而使影像帧移动后，可以按像素单位调节剩余物体。由此，针对大小最大的物体，不执行像素单位作业，因而可以使第二替代影像帧内随着像素单位移动而生成的空白空间实现最小化。另外，作为另一实施例，当佩戴客户端的使用者只向前方或后方移动时，客户端可以对第一最终影像帧进行放大或缩小，生成替代遗漏的第二最终影像帧的第二替代影像帧。

另外，可以还包括：如果未接收与第n时间点(n为大于1的自然数)相应的最终影像帧，则比较与所述第n-1时间点相应的影像方向数据和与所述第n时间点相应的播放方向数据并算出差异值的步骤；及按照所述算出的差异值，补正所述第n-1替代影像帧而生成第n替代影像帧的步骤。即，在第二时间点未接收第二最终影像帧，在提供第二替代影像帧后，如果在第三时间点接收了第三最终影像帧，则使用者可以认为影像内的物体顺畅移动。但是，当在第二时间点之后，影像帧也未连续接收时，客户端200需要以以前生成的替代影像帧(例如，第二替代影像帧或第n-1替代影像帧)为基础，生成下个替代影像帧(例如，第三替代影像帧或第n替代影像帧)。客户端200可以比较第n-1时间点的第n-1替代影像帧内的影像方向数据(或在第n-1时间点测量的播放方向数据)与在第n时间点测量的播放方向数据，算出差异值，按照算出的差异值，补正第n-1替代影像帧(例如，移动或变换)，生成第n替代影像帧。由此，客户端200即使在因通信状态不良而未连续从服务器100接收最终影像帧的情况下，也可以将自然的虚拟现实影像提供给使用者。

根据上面的叙述，一个实施例的虚拟现实影像提供方法可以对因无线传输虚拟现实影像帧而导致的特定时间点的影像帧遗漏进行弥补，使用者即使在未接收特定的影像帧的情况下，也可以虚拟现实空间整体性时间点不错乱地自然地播放影像。

另外，根据一个实施例，只提取全体影像中的一帧并传输或只生成符合播放方向数据的帧并传输，从而即使在以无线方式提供虚拟现实影像内容时，也可以提供高分辨率影像或减小通信流量。

另外，根据一个实施例，可以对使用者的移动即刻作出反应，提供面向虚拟现实影像的对象体表面的优化的实时影像。因此，可以提高虚拟现实影像的现实感和沉浸感。

另外，根据一个实施例，即使在因网络上的延迟而发生帧遗漏时或执行虚拟现实影像补正时，也可以弥补影像帧的遗漏，防止诸如十字瞄准线(crosshair)的图像显示于并非使用者实际指示地点的其他地点。

另一方面，前述本发明的说明用于举例，本发明所属技术领域的技术人员可以理解，在不变更本发明的技术思想或必需特征的情况下，可以容易地变形为其他具体形态。因此，以上记述的实施例在所有方面应理解为只是示例性而限定性的。例如，以单一型说明的各构成要素也可以分散实施，同样地，按分散形态说明的构成要素也可以以结合的形态实施。

与所述详细说明相比，本发明的范围由后述权利要求书所代表，权利要求书的意义及范围以及从其均等概念导出的所有变更或变形的形态也应解释为包含于本发明的范围。

Claims (7)

1.一种客户端所执行的虚拟现实影像提供方法，包括：

从服务器接收虚拟现实影像数据并分配给第一图层的步骤；

生成显示至少一个控制器的控制信息的第二图层的步骤；

接收所述至少一个控制器的动作信息，基于所述动作信息，决定所述虚拟现实影像数据内既定对象与所述控制信息的冲突地点的步骤；及

将包括基于所述冲突地点的法线数据而变形的所述控制信息在内的结合数据分配给所述第二图层的步骤；及

合成所述第一图层及所述第二图层而生成最终影像帧的步骤，

其中，所述接收虚拟现实数据并分配给第一图层的步骤包括：

将所述虚拟现实影像数据分割成多个覆盖项目并按各个独立的信道单位接收的步骤；及

结合通过所述独立的信道单位而接收的多个覆盖项目并分配给多个第一图层的步骤，

其中，在每当所述覆盖项目需要更新时，所述客户端从所述服务器只接收需要更新的覆盖项目，

其中，所述法线数据用于掌握虚拟现实图像内的所述冲突地点处的所述既定对象的配置状态，

其中，分配给所述第二图层的步骤中，基于所述法线数据掌握与冲突地点对应的所述既定对象的布置状态，将结合数据分配给所述第二图层，其中，所述结合数据为将所述控制信息变换为符合所述法线数据而获得的数据，

其中，所述控制信息包括所述控制器在虚拟现实影像中的图像数据、代表所述控制器指示方向的图像、代表所述控制器与所述虚拟现实影像内对象相冲突的地点的图像以及显示在所述控制器指向的地点紧上方的图形用户界面，

其中，当所述客户端随着使用者的移动而移动时，在所述第一图层中显示的所述虚拟现实影像数据的影像帧变更为与根据所述客户端的位置及方向而决定的播放方向数据及影像方向数据对应的影像帧，而在所述第二图层中显示的图形用户界面的位置不变更而是与使用者的视线一同移动。

2.根据权利要求1所述的虚拟现实影像提供方法，其中，所述决定冲突地点的步骤包括：

通过第一信道，接收包括决定所述冲突地点所需的对象在内的覆盖项目的步骤；

利用所述接收的覆盖项目，在所述客户端中决定冲突地点的步骤；及

决定所述冲突地点的法线矢量的步骤。

3.根据权利要求1所述的虚拟现实影像提供方法，其中，所述覆盖项目具有(x,y)坐标。

4.根据权利要求1所述的虚拟现实影像提供方法，其中，所述决定冲突地点的步骤包括：

将所述控制器的动作信息传输到服务器，请求所述冲突地点及法线数据的获得的步骤；及

所述服务器接收已决定的所述虚拟现实影像数据内既定对象与所述控制信息的冲突地点及法线数据的步骤。

5.根据权利要求1所述的虚拟现实影像提供方法，其中，所述接收虚拟现实影像数据的步骤包括从所述服务器接收与第一时间点相应的第一影像帧的步骤；

所述虚拟现实影像提供方法还包括：

获得与所述第一时间点相应的播放方向数据及影像方向数据的步骤；

所述播放方向数据是应在特定时间点在所述客户端的画面上播放的影像帧的方向相关数据；

所述影像方向数据是借助于所述服务器而生成的影像帧的三维空间上的方向相关数据。

6.根据权利要求5所述的虚拟现实影像提供方法，其中，所述获得播放方向数据的步骤包括测量使用者的颈部移动而获得所述播放方向数据的步骤。

7.一种存储有虚拟现实影像播放程序的计算机可读记录介质，所述虚拟现实影像播放程序被作为硬件的计算机运行时所述计算机执行权利要求1至6中任意一项所述的虚拟现实影像提供方法。

Images