CN116170689A - 视频生成方法、装置、计算机设备和存储介质 - Google Patents
视频生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN116170689A CN116170689A CN202211703196.1A CN202211703196A CN116170689A CN 116170689 A CN116170689 A CN 116170689A CN 202211703196 A CN202211703196 A CN 202211703196A CN 116170689 A CN116170689 A CN 116170689A
- Authority
- CN
- China
- Prior art keywords
- acceleration
- coordinate system
- image
- vector
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 53
- 230000001133 acceleration Effects 0.000 abstract description 273
- 230000000007 visual effect Effects 0.000 abstract description 24
- 238000004590 computer program Methods 0.000 abstract description 19
- 238000006243 chemical reaction Methods 0.000 abstract description 14
- 230000000694 effects Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 description 170
- 239000011159 matrix material Substances 0.000 description 77
- 230000000747 cardiac effect Effects 0.000 description 49
- 230000005484 gravity Effects 0.000 description 29
- 230000008569 process Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 16
- 238000001914 filtration Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 14
- 238000013507 mapping Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 230000009467 reduction Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 9
- 238000009499 grossing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 6
- 238000012952 Resampling Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 101150066718 FMOD gene Proteins 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请涉及一种视频生成方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取拍摄设备环绕拍摄目标对象所得的图像，确定拍摄设备拍摄各图像时对应的第一向心加速度和第二向心加速度；第一向心加速度与第二向心加速度是拍摄设备在不同坐标系下的向心加速度；按照第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴；按照旋转轴与第二向心加速度计算得到拍摄设备在世界坐标系下的空间旋转量；根据各空间旋转量对各图像进行空间转换，得到各剪辑视角图像；组合各剪辑视角图像，得到目标视频。采用本方法能够自动识别环绕拍摄的目标对象，从而能够高效地生成一种环绕目标对象拍摄的目标视频，且该目标视频能实现慢镜头特效。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种视频生成方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着图像处理技术的发展，动态拍摄的图像越来越多，动态拍摄的图像包括拍摄设备环绕某一目标对象进行拍摄的过程，拍摄设备环绕某一目标对象进行拍摄的图像可以是拍摄设备运动的过程，也可以是整个场景进行环绕运动的过程。
基于这些图像生成目标视频时，需要专业人士通过专业剪辑工具选择图像中的关键帧，对各关键帧设置旋转量，其工作量较大，效率较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够高效地环绕目标对象的视频生成方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种视频生成方法。所述方法包括：
获取拍摄设备环绕拍摄目标对象所得的图像，确定所述拍摄设备拍摄各所述图像时对应的第一向心加速度和第二向心加速度；所述第一向心加速度与所述第二向心加速度是所述拍摄设备在不同坐标系下的向心加速度；
按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴；
按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在世界坐标系下的空间旋转量；
根据各所述空间旋转量对各所述图像进行空间转换，得到各剪辑视角图像；
组合各所述剪辑视角图像，得到目标视频。
在其中一个实施例中，所述确定所述拍摄设备拍摄各所述图像时对应的第一向心加速度和第二向心加速度，包括：
确定在进行环绕拍摄时所述拍摄设备在相机坐标系下的加速度；
根据旋转矩阵和所述拍摄设备在所述相机坐标系下的加速度，确定所述拍摄设备在世界坐标系下的加速度；
对所述拍摄设备在世界坐标系下的加速度进行分量提取，得到所述拍摄设备的第一向心加速度和第二向心加速度。
在其中一个实施例中，所述对所述拍摄设备在世界坐标系下的加速度进行分量提取，得到所述拍摄设备的第一向心加速度和第二向心加速度，包括：
根据所述拍摄设备在世界坐标系下的加速度和重力加速度确定第一向心加速度；
通过低通滤波器对所述第一向心加速度和所述旋转矩阵之间的融合结果进行滤波处理，得到第二向心加速度；
依据所述旋转矩阵和所述第二向心加速度，对第一向心加速度进行降噪，得到降噪后的第一向心加速度；
所述按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴，包括：
按照所述降噪后的第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴。
在其中一个实施例中，所述对所述拍摄设备在世界坐标系下的加速度进行分量提取，得到所述拍摄设备的第一向心加速度和第二向心加速度，包括：
对所述拍摄设备在世界坐标系下的加速度进行高通滤波，得到第一向心加速度；
根据所述旋转矩阵和所述第一向心加速度得到第二向心加速度。
在其中一个实施例中，所述方法还包括：
获取所述拍摄设备拍摄各所述图像时，各所述图像对应的时间戳和角速度；
根据所述拍摄设备在相机坐标系下的加速度和所述角速度，生成相机坐标系与世界坐标系之间的旋转量；
基于所述相机坐标系与世界坐标系之间的旋转量，生成所述旋转矩阵。
在其中一个实施例中，所述基于所述相机坐标系与世界坐标系之间的旋转量，生成所述旋转矩阵，包括：在所述拍摄设备的时间戳与各所述图像对应的时间戳同步时，对所述旋转量进行平滑处理，得到所述旋转矩阵。
在其中一个实施例中，所述按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴，包括：
根据所述拍摄设备在所述世界坐标系下的候选旋转轴，以及，所述拍摄设备拍摄各所述图像时对应的第一向心加速度，计算所述候选旋转轴的组合值；
按照所述组合值，从所述候选旋转轴中确定所述拍摄设备在世界坐标系下的目标旋转轴；
所述按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在所述世界坐标系下的空间旋转量，包括：
按照所述目标旋转轴与所述第二向心加速度计算得到所述拍摄设备在所述世界坐标系下的空间旋转量。
在其中一个实施例中，所述空间旋转量包括方向不同的第一向量、第二向量及第三向量；所述按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在所述世界坐标系下的空间旋转量，包括：
按照所述第二向心加速度生成所述第一向量；
按照目标旋转轴与重力方向之间的夹角，判断是否基于旋转矩阵生成所述第二向量；
若是，基于所述第一向量、所述目标旋转轴与旋转矩阵生成所述第二向量，将所述第一向量与所述第二向量组合，得到所述第三向量；
若否，基于所述第一向量与预设矩阵生成所述第二向量，将所述第一向量与所述第二向量组合，得到所述第三向量。
在其中一个实施例中，所述空间旋转量包括方向不同的第一向量与第二向量；所述剪辑视角图像包括第一剪辑视角图像和第二剪辑视角图像；所述组合各所述剪辑视角图像，包括：
基于所述第一剪辑视角图像的第一向量与第二向量计算第一角度；所述第一角度用于表征所述第一剪辑视角图像对应的剪辑时间；
基于所述第二剪辑视角图像的第一向量与第二向量计算第二角度；所述第二角度用于表征所述第二剪辑视角图像对应的剪辑时间；
计算所述第一角度与所述第二角度之间的角度差值；
根据所述角度差值，组合所述第一剪辑视角图像与所述第二剪辑视角图像。
在其中一个实施例中，所述根据空间旋转量对各图像进行空间转换，得到各剪辑视角图像，包括：
确定各拍摄的图像与全景视角平面图像之间的映射关系；
基于所述映射关系对所述各图像进行映射，得到所述各图像各自对应的全景视角平面图像；
对各全景视角平面图像进行色彩插值重采样，得到各剪辑视角图像。
第二方面，本申请还提供了一种视频生成装置。所述装置包括：
数据获取模块，用于获取拍摄设备环绕拍摄目标对象所得的图像，确定所述拍摄设备拍摄各所述图像时对应的第一向心加速度和第二向心加速度；所述第一向心加速度与所述第二向心加速度是所述拍摄设备在不同坐标系下的向心加速度；
旋转轴计算模块，用于按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴；
空间旋转计算模块，用于按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在世界坐标系下的空间旋转量；
图像转换模块，用于根据各所述空间旋转量对各所述图像进行空间转换，得到各剪辑视角图像；
目标视频生成模块，用于组合各所述剪辑视角图像，得到目标视频。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意实施例中视频生成的步骤。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意实施例中视频生成的步骤。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意实施例中视频生成的步骤。
上述视频生成方法、装置、计算机设备、存储介质和计算机程序产品，获取拍摄设备环绕拍摄目标对象所得的图像，确定所述拍摄设备拍摄各所述图像拍摄时对应的第一向心加速度和第二向心加速度；所述第一向心加速度与所述第二向心加速度是所述拍摄设备在不同坐标系下的向心加速度，以提取不同角度的向心加速度；按照所述第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴，以通过第一向心加速度的坐标系确定目标视频所对应的旋转轴；按照旋转轴与第二向心加速度计算得到所述拍摄设备在世界坐标系下的空间旋转量，以通过旋转轴与第二向心加速度计算第二向心加速度的坐标系与世界坐标系的坐标系转换关系；根据所述空间旋转量对各所述图像进行空间转换，得到各剪辑视角图像，实现图像的空间变化；组合各所述剪辑视角图像，得到目标视频。采用本方法能够自动识别环绕拍摄的目标对象，从而能够高效地生成一种环绕目标对象拍摄的目标视频，且该目标视频能实现慢镜头特效。
附图说明
图1为一个实施例中视频生成方法的应用环境图；
图2为一个实施例中视频生成方法的流程示意图；
图3为一个实施例中旋转轴与重力方向平行时的环绕轨迹示意图；
图4为一个实施例中旋转轴与重力方向垂直时的环绕轨迹示意图；
图5为一个实施例中视频生成方法的应用场景示意图；
图6为一个实施例中视频生成装置的结构框图；
图7为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的视频生成方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。
其中，终端102可以但不限于是各种拍摄设备，拍摄设备可以是全景拍摄设备、运动拍摄设备或其他拍摄设备，摄像机、无人机、个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种目标视频生成方法，以该方法应用于图1中的终端102为例进行说明，包括以下步骤：
步骤202，获取拍摄设备环绕拍摄目标对象所得的图像，确定拍摄设备拍摄各图像时对应的拍摄设备第一向心加速度和第二向心加速度；第一向心加速度与第二向心加速度是拍摄设备在不同坐标系下的向心加速度。
目标对象是拍摄设备环绕拍摄的预设类别的对象，且该对象无需受限于拍摄设备与自拍杆之间的位置关系。示例性地，该对象可以是现实中存在的人物，该对象可以是虚拟人物，该对象也可以是某个物体或动物。
拍摄设备环绕拍摄目标对象所得的图像，是拍摄设备在环绕目标对象过程中，对目标对象拍摄的图像。通过拍摄设备对目标对象拍摄所得到的多个图像；在拍摄各个图像各自的拍摄位置时，拍摄设备围绕某一个目标对象进行圆周运动并进行拍摄。示例性地，拍摄设备可以在某一水平面以目标对象为圆心进行圆周运动并拍摄目标对象；拍摄设备也可以沿着目标对象的重力方向所在的某一水平面进行圆周运动并拍摄目标对象，该圆周运动的圆心是目标对象。
第一向心加速度与第二向心加速度是在不同坐标系下的向心加速度，第一向心加速度与第二向心加速度是通过坐标系转换及相应处理获得的。第一向心加速度是在世界坐标系下的向心加速度，世界坐标系是全局坐标系；第二向心加速度是相机坐标系的向心加速度，相机坐标系是局部坐标系。当第一向心加速度是在世界坐标系下的向心加速度时，第一向心加速度是加速度的正弦信号；当第二向心加速度是相机坐标系的向心加速度时，第一向心加速度的方向是从拍摄设备所在位置指向拍摄设备环绕拍摄的旋转中心的方向。
在不同的坐标系中，各方向的分量具有各自的频率。示例性地，若第一向心加速度是在世界坐标系下的向心加速度，则拍摄设备在世界坐标系下进行图像拍摄过程中，第一向心加速度是加速度的高频分量，重力是该加速度的低频分量；若第二向心加速度是相机坐标系的向心加速度，则拍摄设备在世界坐标系下进行图像拍摄过程中，第二向心加速度是加速度的低频分量，重力是该加速度的高频分量。
在一个实施例中，以拍摄设备代表拍摄设备；对应的，确定拍摄设备拍摄各图像时对应的第一向心加速度和第二向心加速度，包括：确定在进行环绕拍摄时拍摄设备在相机坐标系的加速度；根据旋转矩阵和拍摄设备在相机坐标系的加速度，确定拍摄设备在世界坐标系下的加速度；对拍摄设备在世界坐标系下的加速度进行分量提取，得到拍摄设备拍摄各图像时对应的第一向心加速度和第二向心加速度。
拍摄设备在相机坐标系的加速度是根据陀螺仪测量出的加速度，该加速度是在环绕拍摄过程的各位置分别测量的；旋转矩阵是基于惯性测量单元(IMU)进行防抖处理的防抖矩阵，使得加速度在坐标系转换的过程的同时进行防抖处理。
根据旋转矩阵和拍摄设备在相机坐标系的加速度，以降低因环境等因素对拍摄设备在世界坐标系下的加速度的抖动影响，以准确地得到拍摄设备在世界坐标系下的加速度，进而对拍摄设备在世界坐标系下的加速度进行分量提取，得到拍摄设备拍摄各图像时对应的第一向心加速度和第二向心加速度。可以理解，拍摄设备在世界坐标系下的加速度是存在频率的信号，而第一向心加速度是该信号的分量信号。
在一个实施例中，根据旋转矩阵和拍摄设备在相机坐标系的加速度，确定拍摄设备在世界坐标系下的加速度，采用如下公式：
其中，aw是拍摄设备在世界坐标系下的加速度，
是旋转矩阵，a是测量出的加速度。
在一个实施例中，该方法包括生成旋转矩阵的步骤：获取拍摄设备拍摄各图像时，各图像对应的时间戳和角速度；根据拍摄设备在相机坐标系下的加速度和角速度，生成相机坐标系与世界坐标系之间的旋转量；基于相机坐标系与世界坐标系之间的旋转量，生成旋转矩阵。
其中，获取拍摄设备拍摄各图像时，各图像对应的时间戳和角速度，包括：基于陀螺仪测量拍摄设备在拍摄各图像时的时间戳和相机角速度。
在一个实施例中，基于相机坐标系与世界坐标系之间的旋转量，生成旋转矩阵，包括：在拍摄设备的时间戳与各图像对应的时间戳同步时，对旋转量进行平滑处理，得到旋转矩阵。其中，平滑处理可以是姿态平滑处理或其他滤波方法，姿态平滑处理包括但不限于是四元插值法。
在一个可选地实施例中，拍摄设备在相机坐标系的加速度是加速度计数值；根据拍摄设备在相机坐标系下的加速度和相机角速度，生成相机坐标系与世界坐标系之间的旋转量，包括：利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计相机坐标系与世界坐标系之间的旋转量。
示例性地，利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计相机坐标系与世界坐标系之间的旋转量，包括：获取初始状态旋转量和初始过程协方差；利用角速度数值计算得到第k时刻的状态转移矩；计算得到状态噪声的协方差矩阵，更新状态旋转先验估计量和过程协方差先验估计矩阵；由加速度计数值更新观测量的噪声方差矩阵，计算得到观测转移雅克比矩阵，计算得到当前观测量和估计观测量之间的误差；更新第k时刻的最优卡尔曼增益矩阵；根据第k时刻的最优卡尔曼增益矩阵和观测量误差更新相机坐标系到世界坐标系的旋转后验估计量和过程协方差后验估计矩阵；基于该旋转后验估计量和过程协方差后验估计矩阵计算得到第k时刻的旋转量。
其中，拍摄设备的时间戳与各图像对应的时间戳同步，包括：同步陀螺仪时间戳与各图像的时间戳，使tk≥tj＞tk-1，其中tj是各图像的时间戳，tk为陀螺仪第K帧的时间戳，tk-1为陀螺仪第K-1帧的时间戳。
其中，基于邻近时间戳的相对旋转量生成陀螺仪的状态，包括：基于相邻时间戳的状态后验估计量，计算相邻陀螺仪时间戳的相对旋转量；进行四元数插值获取各图像到第k帧的相对旋转量，基于各图像到第k帧的相对旋转量，生成第j帧图像的旋转矩阵。
其中，将拍摄设备到世界坐标系的旋转量按照四元数插值等方式进行姿态平滑处理生成对应拍摄设备的旋转矩阵，因此能得到更为精确的旋转矩阵。根据当前的旋转矩阵旋转全景图像，使各图像转换为稳定的视频帧。因此最终能稳定抖动的视频帧，能减轻VR晕动症，对大噪声场景和大部分运动场景都有很强的鲁棒性。
在一个实施例中，根据旋转矩阵和拍摄设备在相机坐标系的加速度，确定拍摄设备在世界坐标系下的加速度，包括：将旋转矩阵和拍摄设备在相机坐标系的加速度进行组合，以实现加速度的坐标系转换，得到拍摄设备在世界坐标系下的加速度。
在一个实施例中，对拍摄设备在世界坐标系下的加速度进行分量提取，得到拍摄设备拍摄各图像时对应的第一向心加速度和第二向心加速度，包括：对拍摄设备在世界坐标系下的加速度进行分量的频率选择；按照选择的频率所属范围确定世界坐标系加速度是否进行滤波与防抖的预处理；根据世界坐标系加速度是否进行预处理，确定第一向心加速度和第二向心加速度的计算策略；按照该计算策略生成第一向心加速度和第二向心加速度。
对拍摄设备在世界坐标系下的加速度进行分量的频率选择，包括：在第一向心加速度和第二向心加速度中，选择一种向心加速度所对应的频率；其中，第一向心加速度是在世界坐标系下的向心加速度，第二向心加速度是相机坐标系的向心加速度；相对应的，按照选择的频率所属范围，确定世界坐标系加速度是否进行滤波与防抖的预处理，包括：当选择第一向心加速度时，消除环境因素对世界坐标系加速度的影响，得到预处理的世界坐标系加速度；当选择第二向心加速度时，不对世界坐标系加速度进行预处理。
在一个实施例中，通过较少的计算量的第一计算策略，生成第一向心加速度和第二向心加速度。对拍摄设备在世界坐标系下的加速度进行分量提取，得到拍摄设备的第一向心加速度和第二向心加速度，包括：对拍摄设备在世界坐标系下的加速度进行高通滤波，得到第一向心加速度；根据旋转矩阵和第一向心加速度计算得到第二向心加速度。
在一个实施例中，对拍摄设备在世界坐标系下的加速度进行高通滤波，得到第一向心加速度，包括：确定高通滤波器的截止频率；筛选超过高通滤波器的截止频率的加速度，得到第一向心加速度。示例性地，当截止频率是0.05Hz时，筛选频率超过0.05Hz的向心加速度，并将频率超过0.05Hz的向心加速度确定为第一向心加速度。
在一个实施例中，根据旋转矩阵和第一向心加速度计算得到第二向心加速度，包括：根据旋转矩阵和第一向心加速度进行向量组合，得到第二向心加速度。
在一个实施例中，通过第一计算策略，生成第一向心加速度和第二向心加速度，其采用的公式如下：
其中，aw是拍摄设备在世界坐标系下的加速度，
是旋转矩阵，a是测量出的加速度；
表示第一向心加速度；H(x)表示高通滤波；
表示第二向心加速度。
在一个实施例中，运用能够获取降噪后的第一向心加速度的第二计算策略。对拍摄设备在世界坐标系下的加速度进行分量提取，得到拍摄设备的第一向心加速度和第二向心加速度，包括：根据拍摄设备在世界坐标系下的加速度和重力加速度确定第一向心加速度；通过低通滤波器对第一向心加速度和旋转矩阵之间的融合结果进行滤波处理，得到第二向心加速度；依据旋转矩阵和第二向心加速度，对第一向心加速度进行降噪，得到降噪后的第一向心加速度。相对应的，按照第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴，包括：按照降噪后的第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴。
在一个实施例中，根据拍摄设备在世界坐标系下的加速度和重力加速度确定第一向心加速度，包括；按照多维度的向量形式确定拍摄设备在世界坐标系下的加速度和重力加速度的向量形态；按照该向量形态，对拍摄设备在世界坐标系下的加速度和重力加速度进行组合，得到待降噪后的第一向心加速度。
在一个实施例中，通过低通滤波器对第一向心加速度和旋转矩阵之间的融合结果进行滤波处理，包括：生成第一向心加速度和旋转矩阵的融合结果；确定低通滤波器的截止频率；筛选低于低通滤波器的截止频率的融合结果，得到第二向心加速度。示例性地，截止频率是0.05Hz，筛选低于0.05Hz的融合结果，得到第二向心加速度。
在一个实施例中，依据旋转矩阵和第二向心加速度，对第一向心加速度进行降噪，得到降噪后的第一向心加速度，包括：对旋转矩阵进行转置，将转置的旋转矩阵和第二向心加速度进行组合，得到降噪后的第一向心加速度，降噪后的第一向心加速度的精度高于未降噪后的第一向心加速度。
在一个实施例中，通过第二计算策略，生成第一向心加速度和第二向心加速度，其采用的公式如下：
其中，aw是拍摄设备在世界坐标系下的加速度，
是旋转矩阵，a是测量出的加速度；
表示第一向心加速度；gw是重力矢量；L(X)表示低通滤波；
表示第二向心加速度，
表示降噪后的第一向心加速度。
步骤204，按照第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴。
世界坐标系是目标视频所在的坐标系；第一向心加速度所在坐标系可以是世界坐标系。示例性地，世界坐标系用于在环境中选择一个参考坐标系来描述摄像机和物体的位置。
旋转轴是拍摄设备环绕拍摄目标对象的过程中，在世界坐标系下的轴线，该轴线可以通过世界坐标系下的向量表征，以按照第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴。示例性地，计算得到世界坐标系旋转轴方向，采用的公式如下：
其中，
表示第一向心加速度；kw表示符合最小值条件的目标旋转轴，k表示拍摄设备在世界坐标系下的候选旋转轴。
在一个实施例中，按照第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴，包括：根据世界坐标系的候选旋转轴与各时刻的第一向心加速度，生成候选旋转轴的组合值；按照组合值，从候选旋转轴中选择世界坐标系的目标旋转轴。相对应的，按照旋转轴与第二向心加速度计算得到拍摄设备在世界坐标系下的空间旋转量，包括：按照目标旋转轴与第二向心加速度计算得到拍摄设备在世界坐标系下的空间旋转量。
在一个实施例中，根据在世界坐标系下的候选旋转轴与各图像的第一向心加速度，生成候选旋转轴的组合值，包括：分别确定在世界坐标系下的各个候选旋转轴；在各个候选旋转轴下，计算得到各图像的第一向心加速度与相应候选旋转轴的组合值；其中，各候选旋转轴分别对应于各时刻的第一向心加速度；按照组合值，从各个候选旋转轴中选择目标旋转轴。
在一个实施例中，按照组合值，从候选旋转轴中选择目标旋转轴，包括：按照各个候选旋转轴的组合值进行比较，确定组合值最小的候选旋转轴为目标旋转轴。
步骤206，按照旋转轴与第二向心加速度计算得到拍摄设备在世界坐标系下的空间旋转量。
空间旋转量用于将各图像转换到相应的空间维度，以生成至少部分全景视频或其他类型的目标视频。拍摄设备在世界坐标系下的空间旋转量包括方向不同的多个向量，这些向量与各图像分别进行组合，能够从拍摄的平面图像转换为目标视频中的至少部分视角图像。
在一个实施例中，对拍摄设备环绕目标对象进行拍摄的图像进行某种处理，随着圆周运动所在平面而调整空间旋转量的生成方式，以便于适用于不同角度进行环绕拍摄的图像生成目标视频，空间旋转量的表达式如下：
其中，
是空间旋转量，其可以通过空间旋转矩阵所表征；
是空间旋转量的第一个列向量，且是第一向量；
是空间旋转量的第二个列向量，
是空间旋转量的第三个列向量；第二个列向量与第三个列向量按照旋转轴与重力方向是否平行，分别充当第二向量与第三向量。
空间旋转量包括方向不同的第一向量、第二向量及第三向量；按照旋转轴与第二向心加速度计算得到空间旋转量，包括：按照第二向心加速度生成第一向量；按照目标旋转轴与重力方向之间的夹角，判断是否基于旋转矩阵生成第二向量；若是，基于第一向量、目标旋转轴与旋转矩阵生成第二向量，将第一向量与第二向量组合，得到第三向量；若否，基于第一向量与预设矩阵生成第二向量，将第一向量与第二向量组合，得到第三向量。
在一个实施例中，按照第二向心加速度生成第一向量，包括：按照第二向心加速度的方向确定基向量的大小的向量为第一向量。
在一个实施例中，按照目标旋转轴与重力方向之间的夹角，判断是否基于旋转矩阵生成第二向量，包括：确定目标旋转轴与重力方向对应的向量融合结果，计算得到该向量融合结果与预设阈值的大小；基于该向量融合结果是否超过预设阈值，判断是否基于旋转矩阵生成第二向量。示例性地，该向量融合结果可以是向量融合的范数，当该范数小于预设阈值时，目标旋转轴与重力方向之间是平行的，二者不存在夹角，无需基于旋转矩阵生成第二向量；当该范数大于预设阈值时，目标旋转轴与重力方向之间是垂直的，二者不存在夹角，基于旋转矩阵生成第二向量。
在一个实施例中，基于旋转矩阵生成的第二向量与世界坐标系的向量并不一定是相同的。当目标旋转轴与重力方向之间不存在夹角或该夹角小于对应的阈值时，旋转轴与重力方向平行，第二向量是空间旋转量的第二个列向量，第三向量是空间旋转量的第三个列向量。相对应的，在目标旋转轴与重力方向平行时，基于第一向量与预设矩阵生成第二向量，将第一向量与第二向量组合，得到第三向量，包括：对第一向量与预设矩阵进行融合，得到第二向量；融合第一向量与第二向量，得到第三向量。示例性地，第一向量是在世界坐标系下的x轴向量，第二向量是在世界坐标系下的y轴向量，第三向量是在世界坐标系下的z轴向量，如图3所示。
在图3中，旋转轴与重力方向平行的条件式如下：
||kw×gw||＜σ；
其中，kw是目标旋转轴；gw是重力方向；σ是预设阈值；
图3对应的公式如下：
其中，
是第一向量，
是第二向量，
是第三向量，
是预设向量。
在一个实施例中，当目标旋转轴与重力方向之间存在的夹角超过对应的阈值时，旋转轴与重力方向垂直，第二向量是空间旋转量的第三个列向量，第三向量是空间旋转量的第二个列向量。相对应的，基于旋转矩阵生成第二向量；基于第一向量、目标旋转轴与旋转矩阵生成第二向量，将第一向量与第二向量组合，得到第三向量，包括：对目标旋转轴与旋转矩阵进行融合，得到目标旋转轴与旋转矩阵之间的融合结果；将该融合结果与第一向量进行组合，得到第二向量；将第一向量与第二向量进行组合，得到第三向量。示例性地，第一向量是在世界坐标系下的x轴向量，第二向量是在世界坐标系下的z轴向量，第三向量是在世界坐标系下的y轴向量，如图4所示。
在图4中，旋转轴与重力方向垂直的条件式如下：
||kw×gw||＞σ；
其中，kw是目标旋转轴；gw是重力方向；σ是预设阈值；
图4对应的公式如下：
其中，
是第一向量，
是第二向量，
是第三向量，
是旋转矩阵，kw是目标旋转轴。
步骤208，根据各空间旋转量对各图像进行空间转换，得到各剪辑视角图像。
在一个实施例中，根据空间旋转量对各图像进行空间转换，包括：确定各拍摄的图像与全景视角平面图像之间的映射关系，基于该映射关系对各拍摄的图像进行映射，得到各拍摄的图像各自对应的全景视角平面图像；对各全景视角平面图像进行色彩插值重采样，得到各剪辑视角图像。其中，色彩插值重采样的具体实施方式可以是二次线性采样等方式。
该映射关系的生成过程，包括：将输出图像栅格点坐标投影为相机坐标系3D坐标；将3D坐标旋转到世界坐标系；将世界坐标系3D点转化为防抖后目标视频的2D平面坐标；所有输出图像平面栅格点按上述步骤计算得到映射关系，生成映射map图。
示例性地，根据空间旋转量对各图像进行空间转换的过程，包括：将输出图像栅格点坐标投影为相机坐标系3D坐标；根据拍摄设备与IMU之间的位置关系，将3D坐标旋转到世界坐标系；将世界坐标系3D点转化为防抖后目标视频的2D平面坐标，所有输出图像平面栅格点按上述步骤计算得到映射关系，生成映射map图；使用映射Map图对目标视频图像进行色彩插值重采样，得到各拍摄的图像各自对应的全景视角平面图像；对各全景视角平面图像的色彩进行二次线性采样处理，得到各剪辑视角图像。
步骤210，组合各剪辑视角图像，得到目标视频。
在一个实施例中，组合各剪辑视角图像，包括：基于第一剪辑视角图像的第一向量与第二向量计算得到第一角度；第一角度用于表征第一剪辑视角图像对应的剪辑时间；基于第二剪辑视角图像的第一向量与第二向量计算得到第二角度；第二角度用于表征第二剪辑视角图像对应的剪辑时间；计算得到第一角度与第二角度之间的角度差值；根据角度差值对第一剪辑视角图像与第二剪辑视角图像组合。
第一剪辑视角图像与第二剪辑视角图像是拍摄设备在同一圆周运动的不同位置分别拍摄的图像所生成的。通过第一剪辑视角图像的第一向量与第二向量能够计算得到第一角度。
其中，第一剪辑视角图像与第二剪辑视角图像的第一向量分别是以各自的第二加速度方向生成的基向量，第一剪辑视角图像与第二剪辑视角图像的第二向量是随着目标旋转轴与重力方向的不同而变化的；当目标旋转轴与重力方向平行时，第二向量是空间旋转量的第二列向量；当目标旋转轴与重力方向垂直时，第二向量是空间旋转量的第三列向量。其中，第一角度与第二角度分别是基于各自的第一向量与第二向量进行反三角函数运算而生成的。
具体的，当目标旋转轴与重力方向平行时，第一角度与第二角度的计算公式是相同的，具体如下：
其中，
是空间旋转矩阵列向量的第二个元素；
是空间向量的第一个元素；
具体的，当目标旋转轴与重力方向垂直时，第一角度与第二角度的计算公式分别如下：
其中，
是空间旋转矩阵列向量的第三个元素；α是空间旋转矩阵列向量
的在拍摄设备环绕拍摄的目标对象向量
的投影，其中：
在一个实施例中，根据角度差值对第一剪辑视角图像与第二剪辑视角图像组合，包括：将角度差值与用于表征周向运动次数的预设角度值进行比较，判断角度差值是否对应于旋转完成的视角点；若是，则进行确定第一剪辑视角图像与第二剪辑视角图像是目标视频的关联帧，将关联帧拼接，以使各剪辑视角图像无缝连接起来，形成目标视频。可以理解的是，在组合各剪辑视角图像的过程中，是从时间维度拼接剪辑视角图像。
对应的，判断角度差值是否对应于旋转完成的视角点，其公式如下列公式中的一种或多种：
||fmod(θs-θe，2π)||＜σ；
||fmod(θS-θe，2π)||＞2π-σ；
其中，θS是第一角度，θE，是第二角度，||fmod(θS-θe，2π)||表示θs-θe的差值的范数与2π的差异值，2π表征完成一次周向运动的角度。
上述视频生成方法中，获取拍摄设备环绕拍摄目标对象所得的图像，确定拍摄设备拍摄各图像时对应的第一向心加速度和第二向心加速度；第一向心加速度与第二向心加速度是拍摄设备在不同坐标系下的向心加速度，以提取不同角度的向心加速度；按照第一向心加速度计算得到拍摄设备在世界坐标系下的旋转轴，以通过第一向心加速度的坐标系确定目标视频所对应的旋转轴；按照旋转轴与第二向心加速度计算得到空间旋转量，以通过旋转轴与第二向心加速度计算得到第二向心加速度坐标系与在世界坐标系下的坐标系转换关系；根据空间旋转量对各图像进行空间转换，得到各剪辑视角图像，实现图像的空间变化；组合各剪辑视角图像，得到目标视频。采用本方法能够自动识别环绕拍摄的目标对象，从而能够高效地生成一种环绕目标对象拍摄的目标视频，且该目标视频能实现慢镜头特效。
在一个实施例中，如图5所示，以全景视频作为目标视频，从整体流程论述目标视频的生成过程，其包括：获取图像及陀螺仪测量的IMU数据，根据IMU数据生成旋转矩阵，根据旋转矩阵对获取的图像进行防抖处理，得到防抖的图像；再根据IMU数据中的相关数据生成第一向心加速度和第二向心加速度，基于第一向心加速度和第二向心加速度生成空间旋转量，空间旋转量也可以称为视角旋转矩阵；基于空间旋转量生成剪辑视角图像，将各剪辑视角图像进行时间对齐，使得各剪辑视角图像首位的位置相同，形成全景视频。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频生成方法的视频生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频生成装置实施例中的具体限定可以参见上文中对于视频生成方法的限定，在此不再赘述。
在一个实施例中，如图6所示，提供了一种视频生成装置，包括：数据获取模块602、旋转轴计算模块604、空间旋转计算模块606、图像转换模块608和视频生成模块610，其中：
数据获取模块602，用于获取拍摄设备环绕拍摄目标对象所得的图像，确定所述拍摄设备拍摄各所述图像时对应的第一向心加速度和第二向心加速度；所述第一向心加速度与所述第二向心加速度是所述拍摄设备在不同坐标系下的向心加速度；
旋转轴计算模块604，用于按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴；
空间旋转计算模块606，用于按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在世界坐标系下的空间旋转量；
图像转换模块608，用于根据各所述空间旋转量对各所述图像进行空间转换，得到各剪辑视角图像；
目标视频生成模块610，用于组合各所述剪辑视角图像，得到目标视频。
在其中一个实施例中，所述数据获取模块602用于：
确定在进行环绕拍摄时所述拍摄设备在相机坐标系下的加速度；
根据旋转矩阵和所述拍摄设备在所述相机坐标系下的加速度，确定所述拍摄设备在世界坐标系下的加速度；
对所述拍摄设备在世界坐标系下的加速度进行分量提取，得到所述拍摄设备的第一向心加速度和第二向心加速度。
在其中一个实施例中，所述数据获取模块602，包括：
根据所述拍摄设备在世界坐标系下的加速度和重力加速度确定第一向心加速度；
通过低通滤波器对所述第一向心加速度和所述旋转矩阵之间的融合结果进行滤波处理，得到第二向心加速度；
依据所述旋转矩阵和所述第二向心加速度，对第一向心加速度进行降噪，得到降噪后的第一向心加速度；
相对应的，所述旋转轴计算模块604，用于：按照所述降噪后的第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴。
在其中一个实施例中，所述数据获取模块602具体用于：
对所述拍摄设备在世界坐标系下的加速度进行高通滤波，得到第一向心加速度；
根据所述旋转矩阵和所述第一向心加速度得到第二向心加速度。
在其中一个实施例中，所述数据获取模块602还用于：
获取所述拍摄设备拍摄各所述图像时，各所述图像对应的时间戳和角速度；
根据所述拍摄设备在相机坐标系下的加速度和所述角速度，生成相机坐标系与世界坐标系之间的旋转量；
基于所述相机坐标系与世界坐标系之间的旋转量，生成所述旋转矩阵。
在其中一个实施例中，数据获取模块602，用于在所述相机的时间戳与各所述图像对应的时间戳同步时，对所述旋转量进行平滑处理，得到所述旋转矩阵。
在其中一个实施例中，所述旋转轴计算模块604具体用于：
根据所述拍摄设备在所述世界坐标系下的候选旋转轴，以及，所述拍摄设备拍摄各所述图像时对应的第一向心加速度，计算所述候选旋转轴的组合值；
按照所述组合值，从所述候选旋转轴中确定所述拍摄设备在世界坐标系下的目标旋转轴；
所述空间旋转计算模块606用于：按照所述目标旋转轴与所述第二向心加速度计算得到所述拍摄设备在所述世界坐标系下的空间旋转量。
在其中一个实施例中，所述空间旋转量包括方向不同的第一向量、第二向量及第三向量；所述空间旋转计算模块606用于：
按照所述第二向心加速度生成所述第一向量；
按照目标旋转轴与重力方向之间的夹角，判断是否基于旋转矩阵生成所述第二向量；
若是，基于所述第一向量、所述目标旋转轴与旋转矩阵生成所述第二向量，将所述第一向量与所述第二向量组合，得到所述第三向量；
若否，基于所述第一向量与预设矩阵生成所述第二向量，将所述第一向量与所述第二向量组合，得到所述第三向量。
在其中一个实施例中，图像转换模块608，用于：确定各拍摄的图像与全景视角平面图像之间的映射关系；
基于所述映射关系对所述各图像进行映射，得到所述各图像各自对应的全景视角平面图像；
对各全景视角平面图像进行色彩插值重采样，得到各剪辑视角图像。
在其中一个实施例中，所述剪辑视角图像包括第一剪辑视角图像和第二剪辑视角图像；所述视频生成模块610，用于：
基于所述第一剪辑视角图像的第一向量与第二向量计算第一角度；所述第一角度用于表征所述第一剪辑视角图像对应的剪辑时间；
基于所述第二剪辑视角图像的第一向量与第二向量计算第二角度；所述第二角度用于表征所述第二剪辑视角图像对应的剪辑时间；
计算所述第一角度与所述第二角度之间的角度差值；
根据所述角度差值，组合所述第一剪辑视角图像与所述第二剪辑视角图像。
上述视频生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频生成方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置，显示屏可以是液晶显示屏或电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (13)
1.一种视频生成方法，其特征在于，所述方法包括：
获取拍摄设备环绕拍摄目标对象所得的图像，确定所述拍摄设备拍摄各所述图像时对应的第一向心加速度和第二向心加速度；所述第一向心加速度与所述第二向心加速度是所述拍摄设备在不同坐标系下的向心加速度；
按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴；
按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在世界坐标系下的空间旋转量；
根据各所述空间旋转量对各所述图像进行空间转换，得到各剪辑视角图像；
组合各所述剪辑视角图像，得到目标视频。
2.根据权利要求1所述的方法，其特征在于，所述确定所述拍摄设备拍摄各所述图像时对应的第一向心加速度和第二向心加速度，包括：
确定在进行环绕拍摄时所述拍摄设备在相机坐标系下的加速度；
根据旋转矩阵和所述拍摄设备在所述相机坐标系下的加速度，确定所述拍摄设备在世界坐标系下的加速度；
对所述拍摄设备在世界坐标系下的加速度进行分量提取，得到所述拍摄设备的第一向心加速度和第二向心加速度。
3.根据权利要求2所述的方法，其特征在于，所述对所述拍摄设备在世界坐标系下的加速度进行分量提取，得到所述拍摄设备的第一向心加速度和第二向心加速度，包括：
根据所述拍摄设备在世界坐标系下的加速度和重力加速度确定第一向心加速度；
通过低通滤波器对所述第一向心加速度和所述旋转矩阵之间的融合结果进行滤波处理，得到第二向心加速度；
依据所述旋转矩阵和所述第二向心加速度，对第一向心加速度进行降噪，得到降噪后的第一向心加速度；
所述按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴，包括：
按照所述降噪后的第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴。
4.根据权利要求2所述的方法，其特征在于，所述对所述拍摄设备在世界坐标系下的加速度进行分量提取，得到所述拍摄设备的第一向心加速度和第二向心加速度，包括：
对所述拍摄设备在世界坐标系下的加速度进行高通滤波，得到第一向心加速度；
根据所述旋转矩阵和所述第一向心加速度得到第二向心加速度。
5.根据权利要求2至4任意一项所述的方法，其特征在于，所述方法还包括：
获取所述拍摄设备拍摄各所述图像时，各所述图像对应的时间戳和角速度；
根据所述拍摄设备在相机坐标系下的加速度和所述角速度，生成相机坐标系与世界坐标系之间的旋转量；
基于所述相机坐标系与世界坐标系之间的旋转量，生成所述旋转矩阵。
6.根据权利要求5所述的方法，其特征在于，所述基于所述相机坐标系与世界坐标系之间的旋转量，生成所述旋转矩阵，包括：在所述拍摄设备的时间戳与各所述图像对应的时间戳同步时，对所述旋转量进行平滑处理，得到所述旋转矩阵。
7.根据权利要求1所述的方法，其特征在于，所述按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴，包括：
根据所述拍摄设备在所述世界坐标系下的候选旋转轴，以及，所述拍摄设备拍摄各所述图像时对应的第一向心加速度，计算所述候选旋转轴的组合值；
按照所述组合值，从所述候选旋转轴中确定所述拍摄设备在世界坐标系下的目标旋转轴；
所述按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在所述世界坐标系下的空间旋转量，包括：
按照所述目标旋转轴与所述第二向心加速度计算得到所述拍摄设备在所述世界坐标系下的空间旋转量。
8.根据权利要求1所述的方法，其特征在于，所述空间旋转量包括方向不同的第一向量、第二向量及第三向量；所述按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在所述世界坐标系下的空间旋转量，包括：
按照所述第二向心加速度生成所述第一向量；
按照目标旋转轴与重力方向之间的夹角，判断是否基于旋转矩阵生成所述第二向量；
若是，基于所述第一向量、所述目标旋转轴与旋转矩阵生成所述第二向量，将所述第一向量与所述第二向量组合，得到所述第三向量；
若否，基于所述第一向量与预设矩阵生成所述第二向量，将所述第一向量与所述第二向量组合，得到所述第三向量。
9.根据权利要求1所述的方法，其特征在于，所述空间旋转量包括方向不同的第一向量与第二向量；所述剪辑视角图像包括第一剪辑视角图像和第二剪辑视角图像；所述组合各所述剪辑视角图像，包括：
基于所述第一剪辑视角图像的第一向量与第二向量计算第一角度；所述第一角度用于表征所述第一剪辑视角图像对应的剪辑时间；
基于所述第二剪辑视角图像的第一向量与第二向量计算第二角度；所述第二角度用于表征所述第二剪辑视角图像对应的剪辑时间；
计算所述第一角度与所述第二角度之间的角度差值；
根据所述角度差值，组合所述第一剪辑视角图像与所述第二剪辑视角图像。
10.根据权利要求1所述的方法，其特征在于，所述根据空间旋转量对各图像进行空间转换，得到各剪辑视角图像，包括：
确定各拍摄的图像与全景视角平面图像之间的映射关系；
基于所述映射关系对所述各图像进行映射，得到所述各图像各自对应的全景视角平面图像；
对各全景视角平面图像进行色彩插值重采样，得到各剪辑视角图像。
11.一种视频生成装置，其特征在于，所述装置包括：
数据获取模块，用于获取拍摄设备环绕拍摄目标对象所得的图像，确定所述拍摄设备拍摄各所述图像时对应的第一向心加速度和第二向心加速度；所述第一向心加速度与所述第二向心加速度是所述拍摄设备在不同坐标系下的向心加速度；
旋转轴计算模块，用于按照所述第一向心加速度计算得到所述拍摄设备在世界坐标系下的旋转轴；
空间旋转计算模块，用于按照所述旋转轴与所述第二向心加速度计算得到所述拍摄设备在世界坐标系下的空间旋转量；
图像转换模块，用于根据各所述空间旋转量对各所述图像进行空间转换，得到各剪辑视角图像；
目标视频生成模块，用于组合各所述剪辑视角图像，得到目标视频。
12.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211703196.1A CN116170689A (zh) | 2022-12-29 | 2022-12-29 | 视频生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211703196.1A CN116170689A (zh) | 2022-12-29 | 2022-12-29 | 视频生成方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116170689A true CN116170689A (zh) | 2023-05-26 |
Family
ID=86421207
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211703196.1A Pending CN116170689A (zh) | 2022-12-29 | 2022-12-29 | 视频生成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116170689A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117750202A (zh) * | 2023-12-29 | 2024-03-22 | 圆周率科技(常州)有限公司 | 图像处理方法、装置及拍摄设备 |
| CN118524178A (zh) * | 2024-07-23 | 2024-08-20 | 圆周率科技(常州)有限公司 | 子弹时间视频特效的生成方法、装置及全景相机 |
-
2022
- 2022-12-29 CN CN202211703196.1A patent/CN116170689A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117750202A (zh) * | 2023-12-29 | 2024-03-22 | 圆周率科技(常州)有限公司 | 图像处理方法、装置及拍摄设备 |
| CN118524178A (zh) * | 2024-07-23 | 2024-08-20 | 圆周率科技(常州)有限公司 | 子弹时间视频特效的生成方法、装置及全景相机 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108765498B (zh) | 单目视觉跟踪方法、装置及存储介质 | |
| CN106033621B (zh) | 一种三维建模的方法及装置 | |
| CN111127524A (zh) | 一种轨迹跟踪与三维重建方法、系统及装置 | |
| CN105635588B (zh) | 一种稳像方法及装置 | |
| CN106296598B (zh) | 三维姿态处理方法、系统及拍摄终端 | |
| CN110717861B (zh) | 图像拼接方法、装置、电子设备和计算机可读存储介质 | |
| US12211162B2 (en) | Method for 3D reconstruction, apparatus, system, and storage medium | |
| CN115690382B (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| WO2016030305A1 (en) | Method and device for registering an image to a model | |
| WO2018214778A1 (zh) | 一种虚拟对象的展示方法及装置 | |
| CN116170689A (zh) | 视频生成方法、装置、计算机设备和存储介质 | |
| CN103985103A (zh) | 一种生成全景图片的方法和装置 | |
| TWI669683B (zh) | 三維影像重建方法、裝置及其非暫態電腦可讀取儲存媒體 | |
| EP2960859B1 (en) | Constructing a 3d structure | |
| CN116030136B (zh) | 基于几何特征的跨视角视觉定位方法、装置和计算机设备 | |
| KR101868740B1 (ko) | 파노라마 이미지 생성 방법 및 장치 | |
| CN113361365A (zh) | 定位方法和装置、设备及存储介质 | |
| CN112991441A (zh) | 相机定位方法、装置、电子设备及存储介质 | |
| US8509522B2 (en) | Camera translation using rotation from device | |
| CN116597168A (zh) | 车载激光点云与全景影像的匹配方法、装置、设备及介质 | |
| CN113808269B (zh) | 地图生成方法、定位方法、系统及计算机可读存储介质 | |
| JP2023543250A (ja) | ジャイロスコープ回転方向を生成する方法及びコンピュータ機器 | |
| CN113034582A (zh) | 位姿优化装置及方法、电子设备及计算机可读存储介质 | |
| JP2005063012A (ja) | 全方位カメラ運動と３次元情報の復元方法とその装置及びプログラム並びにこれを記録した記録媒体 | |
| CN116128744A (zh) | 消除图像畸变的方法、电子设备、存储介质及车辆 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |