[go: up one dir, main page]

CN106484099B - 内容重放装置、具有该重放装置的处理系统及方法 - Google Patents

内容重放装置、具有该重放装置的处理系统及方法 Download PDF

Info

Publication number
CN106484099B
CN106484099B CN201610814241.9A CN201610814241A CN106484099B CN 106484099 B CN106484099 B CN 106484099B CN 201610814241 A CN201610814241 A CN 201610814241A CN 106484099 B CN106484099 B CN 106484099B
Authority
CN
China
Prior art keywords
information
position information
sound source
camera
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610814241.9A
Other languages
English (en)
Other versions
CN106484099A (zh
Inventor
王杰
张婷婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou University
Original Assignee
Guangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou University filed Critical Guangzhou University
Priority to CN201610814241.9A priority Critical patent/CN106484099B/zh
Publication of CN106484099A publication Critical patent/CN106484099A/zh
Application granted granted Critical
Publication of CN106484099B publication Critical patent/CN106484099B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

一种内容重放装置包括一重放装置及一载体。该重放装置用于输出初始方位信息及当前方位信息。该载体用于从方位位置表中获取声源装置相对于摄像装置的相对方位信息及相对位置信息。该载体根据该初始方位信息、当前方位信息及相对方位信息得到方位处理信息,还根据头相关传输函数库获取对应的第一及第二传输函数。该载体还将音频信号与该第一、第二传输函数做卷积操作以得到第一及第二通路信号。本发明还提供了一种具有该重放装置的处理系统及方法。本发明内容重放装置、具有该重放装置的处理系统及方法通过根据声源装置与摄像装置的相对方位信息来对音频信号进行处理,如此可根据用户移动的位置输出对应的音频信号,进而有利于提高用户的体验。

Description

内容重放装置、具有该重放装置的处理系统及方法
技术领域
本发明涉及一种数据处理技术,特别涉及一种基于虚拟现实的内容重放装置、具有该内容重放装置的处理系统及方法。
背景技术
当用户处于虚拟现实环境中,用户可通过音频播放设备(如耳机)来重放虚拟现实中的声音。在观看虚拟现实影像或是参与虚拟现实游戏时,随着虚拟现实的场景、情节的变化,用户的动作行为可能也会随之变化。例如,在一虚拟现实的场景中,虚拟场景中飞机从一端飞到另一端,或是虚拟场景中球员在球场跑动,或是虚拟游戏中敌人突然在某处出现,或是虚拟场景中用户的身后突然响起枪声或脚步声,用户的头部常常会自然地转动。然而,当用户的动作行为发生变化时,对于用户而言,虚拟现实中声源的方位已经变化,但用户的耳机中重放的声源的方位却并未作相应的改变,如此极大地影响虚拟现实营造出的沉浸感,降低了用户体验的效果。
发明内容
鉴于以上内容,有必要提供一种可提供用户体验的内容重放装置、具有该重放装置的处理系统及方法。
一种处理系统,包括:
一方位位置单元,用于获取一声源装置于一第一场景内的一第一位置信息;该方位位置单元还用于获取一摄像装置于该第一场景内的一方位信息及一根据一场景位置信息与一映射系数计算得到的第二位置信息;
一数据处理单元,用于接收该方位位置单元输出的第一位置信息及第二位置信息,该数据处理单元用于根据该第一位置信息及第二位置信息计算该声源装置相对于该摄像装置的相对位置信息;该数据处理单元还用于接收该方位信息,并根据该方位信息及相对位置信息计算该声源装置相对于该摄像装置的相对方位信息;
一设定模块,用于获取对应于一重放装置的初始方位信息及当前方位信息,并根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息;该设定模块还用于根据该相对方位信息及方位变化信息获取该声源装置相对与重放装置的方位处理信息;
一调用模块,用于根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数;及
一卷积模块,用于根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号;该卷积模块还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。
一种处理方法,包括:
获取一声源装置于一第一场景内的第一位置信息;
获取一摄像装置于该第一场景内的方位信息;
根据一场景位置信息与一映射系数计算得到的第二位置信息;
根据该第一位置信息及第二位置信息计算该声源装置相对于该摄像装置的相对位置信息;
根据该相对位置信息及方位信息计算该声源装置相对于该摄像装置的相对方位信息;
获取对应于一重放装置的初始方位信息及当前方位信息,并根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息;
根据该相对方位信息及方位变化信息获取该声源装置相对与重放装置的方位处理信息;
根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数;
根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号;及
根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。
一种内容重放装置,包括:
一定位装置,用于输出一用户于一场景内的场景位置信息;
一重放装置,设有一传感器,该传感器用于输出该重放装置于一第一位置时输出的初始方位信息,该传感器还用于输出该重放装置于一第二位置时输出的当前方位信息;
一载体,用于接收一输入信号,该载体还用于接收对应于该输入信号的方位位置表,其中该方位位置表内存储了一声源装置相对于一摄像装置的相对方位信息及该载体根据该场景位置信息与一映射系数得到的该声源装置相对于该摄像装置的相对位置信息;该载体根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息;该载体还用于根据该相对方位信息及方位变化信息获取该声源装置相对与重放装置的方位处理信息,该载体用于根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数;该载体还用于根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号,还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。
上述内容重放装置、具有该重放装置的处理系统及方法通过获取声源装置与该摄像装置的相对方位角,根据相对方位角与用户的位置变化角来得到对应传输函数,并通过对应的传输函数对音频信号进行卷积处理,如此可根据用户移动的位置输出对应的音频信号,进而有利于提高用户的体验。
附图说明
图1为本发明处理系统的较佳实施方式的方框图。
图2是图1中声源装置及摄像机应用于一第一场景的较佳实施方式的示意图。
图3是本发明处理系统中用户于一第二场景的较佳实施方式的示意图。
图4是图1中内容生成装置的较佳实施方式的方框图。
图5是图4中处理装置的较佳实施方式的方框图。
图6是图5中第一处理器及存储器的较佳实施方式的方框图。
图7是图1中内容重放装置的较佳实施方式的方框图。
图8是图1中载体的较佳实施方式的方框图
图9是本发明处理系统中第一传输函数与第二传输函数调用的示意图。
图10是本发明处理系统中第一通路信号及第二通路信号运算的示意图。
图11及图12是本发明处理方法的较佳实施方式的流程图。
图13是步骤S903的较佳实施方式的流程图。
主要元件符号说明
声源装置 10
摄像装置 20
内容生成装置 30
载体 40
重放装置 50
内容重放装置 60
第一场景 70
第一传感器 200
处理装置 310
第一定位装置 320
存储器 330
第一处理器 340
方位位置单元 342
数据处理单元 344
方位位置表 332
第二传感器 530
调用模块 512
设定模块 514
卷积模块 522
处理系统 90
第二场景 80
用户 802
第二定位装置 602
遥控系统 202
具体实施方式
请参阅图1,本发明处理系统90的较佳实施方式包括一用于输出对应于一用户802(示于图3)的场景位置信息的内容重放装置60及一用于接收该内容重放装置60输出的场景位置信息的内容生成装置30。
请一并参阅图2,本实施方式中,该内容生成装置30包括一声源装置10、一摄像装置20及一第一定位装置320。该声源装置10及摄像装置20可设置于一第一场景70内。该内容生成装置30用于生成一包含该声源装置10相对于该摄像装置20的相对方位信息及相对位置信息的输入信号,其中该输入信号还可包含一音频信号。该第一定位装置320用于产生该声源装置10于该第一场景70内的第一位置信息,还可用于产生该摄像装置20于该第一场景70内的第二位置信息。在其他实施方式中,该摄像装置20于该第一场景70内的第二位置信息可根据该内容重放装置60输出的场景位置信息产生。
具体地,该内容生成装置30在接收对应于该用户802的场景位置信息后根据该场景位置信息及一映射系数计算得到该摄像装置20于该第一场景70内的第二位置信息,如此,该摄像装置20于该第一场景70内的第二位置信息可由用户802通过远程控制。
该声源装置10及该摄像装置20可用于实拍节目和直播节目的制作。本实施方式中,该摄像装置20可为一360度的全景摄像机,用于进行虚拟现实的内容的制作。该摄像装置20可包括一主摄像头。在其他实施方式中,该声源装置10及该摄像装置20可用于非直播实拍节目,此时,该摄像装置20的方位信息可在节目后期制作时添加。
请一并参阅图3,本实施方式中,该内容重放装置60包括一载体40、一重放装置50及一第二定位装置602。该载体40用于获取该内容生成装置30产生的输入信号中的相对方位信息及相对位置信息,并根据获取得到的相对方位信息及相对位置信息对该输入信号包含的音频信号进行处理。该重放装置50用于重放经该载体40处理后的音频信号。本实施方式中,该重放装置50可为一耳机。在其他实施方式中,该输入信号也可包含一影视的音频信号,或是其他数字播放器输出的音频信号,包括但不限于音乐播放器、电视机输出的音频信号等。本实施方式中,该用户802可于一第二场景80内戴带该内容重放装置60,位于该第二场景80内的内容重放装置60可通过无线通信方式与该内容生成装置30进行数据交换。该第二定位装置602用于输出该用户802在该第二场景80内的场景位置信息。
请参阅图4,该内容生成装置30还包括一处理装置310。该处理装置310连接于该声源装置10、摄像装置20及该第一定位装置320。该声源装置10用于输出该音频信号。在其他实施方式中,该音频信号可在后期虚拟现实的内容制作时混入。该摄像装置20包括一第一传感器200及一遥控系统202。本实施方式中,第一传感器200为一9DOF传感器(9Degrees OfFreedom Sensor)。该第一传感器200用于输出该摄像装置20的方位信息,其中该方位信息可包括一水平方向角及一垂直方向角,其分别对应于该摄像装置20与水平方向及竖直方向之间的夹角的值。该遥控系统202用于通过无线通信或有线通信的方式与该内容重放装置60进行数据交换,以接收该内容重放装置60输出的场景位置信息。
本实施方式中,该摄像装置20可设置于一飞行器上或一滑轨上,如此使得该摄像装置20亦可被移动至该第一场景70内的任意位置,如移动至由该场景位置信息计算出来的第二位置信息处。
本实施方式中,该第一定位装置320可实时输出该第一位置信息及该第二位置信息。当该第二位置信息的精度要求不高时,该摄像装置20于该第一场景70内的第二位置信息可由该处理装置310根据场景位置信息及映射系数实时计算得出;在该第二位置信息的精度要求较高时,该摄像装置20于该第一场景70内的第二位置信息可由该第一定位装置320输出。
本实施方式中,该第一定位装置320及第二定位装置602可通过激光、红外或深度摄像头等手段来对该声源装置10及该摄像装置20进行定位。在其他实施方式中,当该声源装置10及该摄像装置20用于非直播实拍节目时,该声源装置10及该摄像装置20的位置信息亦可在节目后期制作时添加。
该处理装置310用于接收该第一传感器200输出的方位信息,该处理装置310还用于接收该第一位置信息及第二位置信息。在其他实施方式中,该处理装置310接收的方位信息、第一位置信息及第二位置信息可由用户手动添加。
请一并参阅图5及图6,该处理装置310包括一存储器330及一第一处理器340。该存储器330用于存储若干可被该第一处理器340执行的代码以使得该第一处理器340完成特定功能。
本实施方式中,该第一处理器340包括一方位位置单元342及一数据处理单元344。
该方位位置单元342用于接收该声源装置10于该第一场景70内的第一位置信息;该方位位置单元342还用于接收该摄像装置20于该第一场景70内的方位信息及第二位置信息。本实施方式中,以该摄像装置20的位置为原点,以该摄像装置20的主摄像头的指向为正前方建立一虚拟现实空间坐标系,如此该摄像装置20的方位信息包括一与水平方向及一与垂直方向的夹角。在其他实施方式中,该虚拟现实空间坐标系亦可以其他摄像头的指向为正前方,通过相应的角度的转换即可得到该声源装置10在该虚拟现实空间坐标系中相对于该摄像装置20的夹角的信息。
该处理装置310的数据处理单元344用于接收第一位置信息及第二位置信息,该处理装置310的数据处理单元344还用于根据该第一位置信息及第二位置信息计算该声源装置10相对于该摄像装置20的相对位置信息。本实施方式中,该数据处理单元344还用于根据该相对位置信息及该方位信息计算该声源装置10相对于该摄像装置20的相对方位信息。
本实施方式中,该数据处理单元344还可将该相对位置信息及相对方位信息按获取的时间先后顺序存储于该存储器330内的方位位置表332,以便与音频信号的时序同步。在其他实施方式中,该数据处理单元344还可将该相对位置信息及相对方位信息以该摄像装置20拍摄的影像的帧的顺序存储于该存储器330内的方位位置表332,进而更好的达到与音频信号的时序同步,如将该相对位置信息及相对方位信息存储于一M3U8文件的标签(Tag)中。
请参阅图7,该重放装置50还包括一第二传感器530。该第二传感器530可一9DOF传感器,该第二传感器530用于输出相对于该重放装置50的方位信息,其中该方位信息包括一水平方向角及一垂直方向角,其分别对应于该重放装置50在水平方向及竖直方向的值。本实施方式中,该重装装置50可为用户佩戴的耳机。在其他实施方式中,该重放装置50亦可获取该第一场景70的第一范围值,并根据该第一范围值与第二范围值计算出该映射系数,进而得到该摄像装置20的第二位置信息。
当用户从一第一位置移动至一第二位置(如用户的头部位置变化)时,该第二传感器530输出的方位信息亦可能发生变化。本实施方式中,该第二传感器530可设置在虚拟现实中用户佩戴的设备,在其他实施方式中,该第二传感器530也可装载在该重放装置50上,如安装于一耳机内。
该重放装置50连接于该第二定位装置602,并用于输出该第二定位装置602产生的场景位置信息。
请参一并阅图8,该载体40包括一第二处理器510及一第三处理器520。该第二处理器510包括一设定模块514及一调用模块512。本实施方式中,该第三处理器520可为一DSP(Digital Signal Process,数字信号处理)芯片,该第二处理器510可集成该第三处理器520的功能,如此该第三处理器520可省略。在其他实施方式中,该载体40亦可被集成于该重放装置50内,以方便用户的携带与使用。
该设定模块514用于对该重放装置50进行初始化动作,还用于获取对应于该重放装置50的初始方位信息及当前方位信息,并根据该重放装置50的初始方位信息及当前方位信息获取该重放装置50的方位变化信息。该设定模块514还用于根据该相对方位信息及方位变化信息获取该声源装置10相对与重放装置50的方位处理信息。
具体地,本实施方式中,该设定模块514可根据一触发条件将接收到的方位信息设定初始方位信息。例如,当用户佩戴虚拟现实的显示设备的初始时刻时,该设定模块514即对该重放装置50进行初始化动作并将接收得到的方位信息设置为该初始方位信息,如此将用户设置于虚拟现实坐标系的原点处,并以该摄像装置20的主摄像头指向为用户观看的画面的角度。在其他实施方式中,例如,当用户佩戴虚拟现实显示设备进入节目或游戏的初始时刻时,该设定模块514将用户的朝向定位为正前方,并将此时该第二传感器530(如9DOF传感器)输出的方位信息中包含的水平方向角及垂直方向角设置为初始方位信息,如此以使得用户观看的画面与该摄像装置20中主摄像头所拍摄的画面一致。在其他实施方式中,在进行初始化动作时,该设定模块514可将该第二传感器530输出的方位信息中包含的水平方向角校为0度、将垂直方向角校为0度。在其他实施方式中,用户亦可通过一功能按键来设置该参考坐标,如当该功能按键被触发时,该设定模块514则此时接收到的方位信息设定为该初始方位信息。
该调用模块512用于根据一头相关传输函数库HRTF(头相关传输函数,HeadRelated Transfer Function)获取对应该方位处理信息的第一传输函数及第二传输函数。
该第三处理器520包括一卷积模块522。该卷积模块522用于根据该相对位置信息将该音频信号与该第一传输函数做卷积操作以得到一第一通路信号;该卷积模块522还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号。
具体地,请参阅图9及图10,当该声源装置10及该摄像装置20于该第一场景70内时,该处理装置310还用于获取该第一场景70的第一范围值,如该第一场景70的第一范围值为Lsc×Wsc×Hsc,其中Lsc、Wsc和Hsc分别表示该第一场景70的有效范围的长、宽和高。当用户位于该第二场景80内时,该第二定位装置602根据第二场景80的第二范围值产生对应于该用户802的场景位置信息{xu,yu,zu},其中{xu,yu,zu}表示该用户802于一空间三维坐标系统O2内的坐标值,如该第二场景80的第二范围值为Lu×Wu×Hu,其中Lu、Wu和Hu分别表示该第二场景80的有效范围的长、宽和高。此时,该处理装置310根据该第一范围值、第二范围值计算出该第一范围值相对于该第二范围值的映射系数{kx,ky,kz},其中:
Figure BSA0000134524260000091
该处理装置310根据该映射系数及该场景位置信息计算出该摄像装置20的第二位置信息
Figure BSA0000134524260000092
其中;
Figure BSA0000134524260000093
该内容生成装置30则将该摄像装置20移动至该第二位置信息
Figure BSA0000134524260000094
处,如此达到远程控制摄像装置20的目的,有利于提高用户的体验。
该处理装置310的方位位置单元342可根据该第一传感器200获得对应该摄像装置20的方位信息
Figure BSA0000134524260000095
其中
Figure BSA0000134524260000096
表示该摄像装置20与重力方向的竖直方向角、
Figure BSA0000134524260000097
表示该摄像装置20与地磁极方向的水平方向角。该处理装置310的方位位置单元342可根据该第一定位装置320获得对应该声源装置10的第一位置信息
Figure BSA0000134524260000098
即其中
Figure BSA0000134524260000099
表示该声源装置10在一空间三维坐标系O1中坐标值。该处理装置310的方位位置单元342可根据该第一定位装置320获得对应该摄像装置20的第二位置信息
Figure BSA00001345242600000910
其中
Figure BSA00001345242600000911
表示该摄像装置20在该空间三维坐标系O1中坐标值。在其他实施方式中,由该第一定位装置320输出的第二位置信息
Figure BSA00001345242600000912
可与由该场景位置信息及映射系数计算得到第二位置信息
Figure BSA00001345242600000913
做为替换。该数据处理单元344根据该第一位置信息及第二位置信息计算该声源装置10相对于该摄像装置20的相对位置信息
Figure BSA0000134524260000101
其中:
Figure BSA0000134524260000102
Figure BSA0000134524260000103
Figure BSA0000134524260000104
当第二位置位置信息由场景位置信息与映射系数计算得出时,该声源装置10相对于该摄像装置20的相对位置信息
Figure BSA0000134524260000105
其中:
Figure BSA0000134524260000106
Figure BSA0000134524260000107
Figure BSA0000134524260000108
该数据处理单元344,根据该相对位置方位信息及该摄像装置20的方位信息计算该声源装置10相对于该摄像装置30的相对方位信息
Figure BSA0000134524260000109
其中:
Figure BSA00001345242600001010
其中
Figure BSA00001345242600001011
表示该声源装置相对于摄像装置的竖直方向角、
Figure BSA00001345242600001012
表示该声源装置与相对于摄像装置的水平方向角。
本实施方式中,该数据处理单元344将参数
Figure BSA00001345242600001013
存放在对应时刻的方位位置表332中,如将该相对位置信息及相对方位信息存储于一M3U8文件的标签(Tag)中,作为素材或用于直播。
该第一处理器510的设定模块514可获得该方位处理信息(θVR,φVR),其中:
Figure BSA00001345242600001014
其中
Figure BSA00001345242600001015
表示该重放装置50从第一位置到第二位置的方位变化信息。
该调用模块512得到的该第一传输函数为:hrirlVR,φVR)、该第二传输函数为:hrirrVR,φVR)。
该卷积模块522得到的于t时刻的第一通路信号l(t)为:
Figure BSA0000134524260000111
该卷积模块522得到的于t时刻的第二通路信号r(t)为:
Figure BSA0000134524260000112
其中:
Figure BSA0000134524260000113
其中s表示音频信号,
Figure BSA0000134524260000114
表示卷积操作,
Figure BSA0000134524260000115
表示当前方位信息中该重放装置50与地磁极方向的水平方向角
Figure BSA0000134524260000116
表示初始方位信息中该重放装置50与重力方向的水平方向角,
Figure BSA0000134524260000117
表示当前方位信息中该重放装置50与重力方向的垂直方向角;
Figure BSA0000134524260000118
表示初始方位信息中该重放装置50与重力方向的垂直方向角;·表示相乘的关系;d2表示该声源装置10与该摄像装置20之间的距离的平方,以使得不同距离的声源的声音听起来有所区别,有利于提升用户体验的效果。本实施方式中,
Figure BSA0000134524260000119
与s之间为相乘的关系。
本实施方式中,该声源装置10为一点声源。在其他实施方式中,如在存在多个点声源的情况下,可将分别获得每个点声源的第一通路信号及第二通路信号,之后再将每个点声源的第一通路信号进行叠加操作、将每个点声源的第二通路信号进行叠加操作。
请参阅图11及图12,本发明处理方法的较佳实施方式包括如下步骤:
步骤S901,获取摄像装置的一方位信息。
步骤S903,获取声源装置的一第一位置信息。
步骤S905,获取摄像装置的一第二位置信息。
步骤S907,根据声源装置的第一位置信息与摄像装置的第二位置信息计算声源装置相对于摄像装置的相对位置信息。
步骤S909,根据相对位置信息及方位信息计算声源装置相对于摄像装置的相对方位信息。
步骤S911,对重放装置进行初始化,并根据重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息。
步骤S913,根据相对方位信息及方位变化信息获取声源装置相对与重放装置的方位处理信息。
步骤S915,根据方位处理信息获取对应重放装置第一传输函数与第二传输函数。
步骤S917,根据第一传输函数对音频信号做卷积处理,以得到一第一通路信号。
步骤S919,根据第二传输函数对音频信号做卷积处理,以得到一第二通路信号。
步骤S921,对第一通路信号与第二通路信号进行重放操作。
请参阅图13,步骤S905的较佳实施方式还包括如下步骤:
步骤S971,获取第一场景的第一范围值。
步骤S973,获取第二场景的第二范围值。
步骤S975,根据该第一范围值及第二范围值计算该第一范围值相对于第二范围值的映射系数。
步骤S977,获取用户在该第二场景内的一场景位置信息。
步骤S979,根据映射系数及该场景位置信息计算该摄像装置在该第一场景内的第二位置信息。
步骤S981,移动该摄像装置至该第二位置信息处。
上述内容重放装置、具有该重放装置的处理系统及方法通过获取声源装置与该摄像装置的相对方位角,根据相对方位角与用户的位置变化角来得到对应传输函数,并通过对应的传输函数对音频信号进行卷积处理,如此可根据用户移动的位置输出对应的音频信号,进而有利于提高用户的体验。。
需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种处理系统,包括:
一方位位置单元,用于获取一声源装置于一第一场景内的一声源位置信息;该方位位置单元还用于获取一摄像装置于该第一场景内的一方位信息及一根据一场景位置信息与一映射系数计算得到的该摄像装置于该第一场景内的摄像装置位置信息;
一数据处理单元,用于接收该方位位置单元输出的声源位置信息及摄像装置位置信息,该数据处理单元用于根据该声源位置信息及摄像装置位置信息计算该声源装置相对于该摄像装置的相对位置信息;该数据处理单元还用于接收该方位信息,并根据该方位信息及相对位置信息计算该声源装置相对于该摄像装置的相对方位信息;
一设定模块,用于获取对应于一重放装置的初始方位信息及当前方位信息,并根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息;该设定模块还用于根据该相对方位信息及方位变化信息获取该声源装置相对于重放装置的方位处理信息;
一调用模块,用于根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数;及
一卷积模块,用于根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号;该卷积模块还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号;
重放装置用于对第一通路信号与第二通路信号进行重放操作。
2.如权利要求1所述的处理系统,其特征在于:该处理系统还包括一第一定位装置,该第一定位装置用于输出该声源装置位于该第一场景内的声源位置信息;该摄像装置设有一第一传感器,该第一传感器用于输出对应于该摄像装置的方位信息。
3.如权利要求2所述的处理系统,其特征在于:该场景位置信息由一第二定位装置输出,该第二定位装置输出一用户于一第二场景的场景位置信息{xu,yu,zu},该方位位置单元用于获取该第一场景的第一范围值Lsc×Wsc×Hsc及该第二场景的第二范围值Lu×Wu×Hu,并根据该第一范围值与该第二范围值计算出该映射系数{kx,ky,kz},其中:
Figure FSB0000197211050000021
Figure FSB0000197211050000022
Figure FSB0000197211050000023
该方位位置单元根据该场景位置信息及映射系数计算出该摄像装置位置信息
Figure FSB0000197211050000024
其中:
Figure FSB0000197211050000025
Figure FSB0000197211050000026
Figure FSB0000197211050000027
其中,Lsc、Wsc和Hsc分别表示该第一范围值的长、宽和高;Lu、Wu和Hu分别表示该第二范围值的长、宽和高。
4.如权利要求3所述的处理系统,其特征在于:该摄像装置的方位信息的参数包括
Figure FSB0000197211050000028
该声源装置的声源位置信息的参数包括
Figure FSB0000197211050000029
由该第一定位装置输出的对应于该摄像装置的摄像装置位置信息的参数包括
Figure FSB00001972110500000210
该相对位置信息的参数包括
Figure FSB00001972110500000211
其中:
Figure FSB00001972110500000212
Figure FSB00001972110500000213
Figure FSB00001972110500000214
该相对方位信息的参数包括
Figure FSB00001972110500000215
其中:
Figure FSB00001972110500000216
其中
Figure FSB00001972110500000217
表示该声源装置相对于摄像装置的竖直方向角、
Figure FSB00001972110500000218
表示该声源装置与相对于摄像装置的水平方向角,
Figure FSB00001972110500000219
表示该声源装置在一空间三维坐标系中坐标值;
Figure FSB00001972110500000220
表示该摄像装置与重力方向的竖直方向角、
Figure FSB00001972110500000221
表示该摄像装置与地磁极方向的水平方向角,
Figure FSB00001972110500000222
表示该摄像装置在该空间三维坐标系中坐标值。
5.如权利要求4所述的处理系统,其特征在于:该方位处理信息的参数包括(θVR,φVR),其中:
Figure FSB0000197211050000031
该第一传输函数为:hrirlVR,φVR);
该第二传输函数为:hrirrVR,φVR);
该第一通路信号为:
Figure FSB0000197211050000032
该第二通路信号为:
Figure FSB0000197211050000033
其中:
Figure FSB0000197211050000034
其中s表示音频信号,
Figure FSB0000197211050000035
表示卷积操作,
Figure FSB0000197211050000036
表示当前方位信息中该重放装置与地磁极方向的水平方向角;
Figure FSB0000197211050000037
表示初始方位信息中该重放装置与重力方向的水平方向角,
Figure FSB0000197211050000038
表示当前方位信息中该重放装置与重力方向的垂直方向角;
Figure FSB0000197211050000039
表示初始方位信息中该重放装置与重力方向的垂直方向角;d2表示该声源装置与该摄像装置之间的距离的平方。
6.一种处理方法,包括:
获取一声源装置于一第一场景内的声源位置信息;
获取一摄像装置于该第一场景内的方位信息;
根据一场景位置信息与一映射系数计算得到的该摄像装置于该第一场景内的摄像装置位置信息;
根据该声源位置信息及摄像装置位置信息计算该声源装置相对于该摄像装置的相对位置信息;
根据该相对位置信息及方位信息计算该声源装置相对于该摄像装置的相对方位信息;
获取对应于一重放装置的初始方位信息及当前方位信息,并根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息;
根据该相对方位信息及方位变化信息获取该声源装置相对于重放装置的方位处理信息;
根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数;
根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号;
根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号;及
对第一通路信号与第二通路信号进行重放操作。
7.如权利要求6所述的处理方法,其特征在于:该声源位置信息由一第一定位装置输出;该场景位置信息由一第二定位装置输出,该第二定位装置输出一用户于一第二场景的场景位置信息{xu,yu,zu},该处理方法还包括:
获取该第一场景的第一范围值Lsc×Wsc×Hsc
获取该第二场景的第二范围值Lu×Wu×Hu
根据该第一范围值与该第二范围值计算出该映射系数{kx,ky,kz},其中:
Figure FSB0000197211050000041
Figure FSB0000197211050000042
Figure FSB0000197211050000043
根据该场景位置信息及映射系数计算出该摄像装置位置信息
Figure FSB0000197211050000044
其中:
Figure FSB0000197211050000045
Figure FSB0000197211050000046
Figure FSB0000197211050000047
其中,Lsc、Wsc和Hsc分别表示该第一范围值的长、宽和高;Lu、Wu和Hu分别表示该第二范围值的长、宽和高。
8.如权利要求7 所述的处理方法,其特征在于:
该摄像装置的方位信息的参数包括
Figure FSB0000197211050000048
该声源装置的声源位置信息的参数包括
Figure FSB0000197211050000049
由该第一定位装置输出的对应于该摄像装置的摄像装置位置信息的参数包括
Figure FSB00001972110500000410
该相对位置信息的参数包括
Figure FSB00001972110500000411
其中:
Figure FSB00001972110500000412
Figure FSB00001972110500000413
Figure FSB00001972110500000414
该相对方位信息的参数包括
Figure FSB0000197211050000051
其中:
Figure FSB0000197211050000052
其中
Figure FSB0000197211050000053
表示该声源装置相对于摄像装置的竖直方向角、
Figure FSB0000197211050000054
表示该声源装置相对于摄像装置的水平方向角,
Figure FSB0000197211050000055
表示该声源装置在一空间三维坐标系中坐标值;
Figure FSB0000197211050000056
表示该摄像装置与重力方向的竖直方向角、
Figure FSB0000197211050000057
表示该摄像装置与地磁极方向的水平方向角,
Figure FSB0000197211050000058
表示该摄像装置在该空间三维坐标系中坐标值;参数
Figure FSB0000197211050000059
存放在对应时刻的方位位置表中。
9.如权利要求8所述的处理方法,其特征在于:该方位处理信息的参数包括(θVR,φVR),其中:
Figure FSB00001972110500000510
该第一传输函数为:hrirlVR,φVR);
该第二传输函数为:hrirrVR,φVR);
该第一通路信号为:
Figure FSB00001972110500000511
该第二通路信号为:
Figure FSB00001972110500000512
其中:
Figure FSB00001972110500000513
其中s表示音频信号,
Figure FSB00001972110500000514
表示卷积操作,
Figure FSB00001972110500000515
表示当前方位信息中该重放装置与地磁极方向的水平方向角;
Figure FSB00001972110500000516
表示初始方位信息中该重放装置与重力方向的水平方向角,
Figure FSB00001972110500000517
表示当前方位信息中该重放装置与重力方向的垂直方向角;
Figure FSB00001972110500000518
表示初始方位信息中该重放装置与重力方向的垂直方向角;d2表示该声源装置与该摄像装置之间的距离的平方。
10.一种内容重放装置,包括:
一第二定位装置,用于输出一用户于一第二场景内的场景位置信息;
一重放装置,设有一传感器,该传感器用于输出该重放装置于一第一位置时输出的初始方位信息,该传感器还用于输出该重放装置于一第二位置时输出的当前方位信息;
一载体,用于接收一输入信号,该载体还用于接收对应于该输入信号的方位位置表,其中该方位位置表内存储了通过一数据处理单元根据一声源位置信息以及一摄像装置位置信息计算得到处于一第一场景内的一声源装置相对于一摄像装置的相对位置信息以及通过该数据处理单元接收一方位位置单元获取到的该摄像装置于该第一场景内的一方位信息并根据该方位信息及相对位置信息计算得到该声源装置相对于该摄像装置的相对方位信息;所述声源位置信息是通过一第一定位装置获得的对应该声源装置位于该第一场景内的第一位置信息,所述摄像装置位置信息是通过一第一定位装置获得的对应该摄像装置位于该第一场景内的第二位置信息,该载体根据该重放装置的初始方位信息及当前方位信息获取该重放装置的方位变化信息;该载体还用于根据该相对方位信息及方位变化信息获取该声源装置相对于重放装置的方位处理信息,该载体用于根据一头相关传输函数库获取对应该方位处理信息的第一传输函数及第二传输函数;该载体还用于根据该相对位置信息将一音频信号与该第一传输函数做卷积操作以得到一第一通路信号,还根据该相对位置信息将该音频信号与该第二传输函数做卷积操作以得到一第二通路信号;
该重放装置还用于对第一通路信号与第二通路信号进行重放操作。
CN201610814241.9A 2016-08-30 2016-08-30 内容重放装置、具有该重放装置的处理系统及方法 Active CN106484099B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610814241.9A CN106484099B (zh) 2016-08-30 2016-08-30 内容重放装置、具有该重放装置的处理系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610814241.9A CN106484099B (zh) 2016-08-30 2016-08-30 内容重放装置、具有该重放装置的处理系统及方法

Publications (2)

Publication Number Publication Date
CN106484099A CN106484099A (zh) 2017-03-08
CN106484099B true CN106484099B (zh) 2022-03-08

Family

ID=58273492

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610814241.9A Active CN106484099B (zh) 2016-08-30 2016-08-30 内容重放装置、具有该重放装置的处理系统及方法

Country Status (1)

Country Link
CN (1) CN106484099B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595147B2 (en) 2014-12-23 2020-03-17 Ray Latypov Method of providing to user 3D sound in virtual environment
CN108574925A (zh) * 2017-03-14 2018-09-25 株式会社东芝 虚拟听觉环境中控制音频信号输出的方法和装置
WO2019002909A1 (en) * 2017-06-26 2019-01-03 Latypov Ray METHOD FOR PROVIDING AN INTERACTIVE MUSICAL COMPOSITION TO A USER
US20200304933A1 (en) * 2019-03-19 2020-09-24 Htc Corporation Sound processing system of ambisonic format and sound processing method of ambisonic format

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102929386A (zh) * 2012-09-16 2013-02-13 吴东辉 一种动感重现虚拟现实的方法及系统
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示系统、信息显示方法、以及头戴式显示装置
CN105263075A (zh) * 2015-10-12 2016-01-20 深圳东方酷音信息技术有限公司 一种带方位传感器耳机及其3d声场还原方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2508830B (en) * 2012-12-11 2017-06-21 Holition Ltd Augmented reality system and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104011788A (zh) * 2011-10-28 2014-08-27 奇跃公司 用于增强和虚拟现实的系统和方法
CN102929386A (zh) * 2012-09-16 2013-02-13 吴东辉 一种动感重现虚拟现实的方法及系统
CN104062759A (zh) * 2013-03-22 2014-09-24 精工爱普生株式会社 信息显示系统、信息显示方法、以及头戴式显示装置
CN105263075A (zh) * 2015-10-12 2016-01-20 深圳东方酷音信息技术有限公司 一种带方位传感器耳机及其3d声场还原方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"VR中的声音技术:如何听到来自各个方向的声音呢?";佚名;《www.chuapp.com/?c=Article&a=index&id=260018》;20160803;全文 *
"某省级大剧院音乐厅数字音频传输系统设计";王杰;《广州大学学报(自然科学版)》;20160815;全文 *
"虚拟环绕声算法研究与IP核实现";龙芬;《电子科技》;20150715;全文 *
"试论VR电影还音制式的未来发展趋势——从电影声音的空间定位方式谈起";王岩明;《现代电影技术》;20160511;全文 *

Also Published As

Publication number Publication date
CN106484099A (zh) 2017-03-08

Similar Documents

Publication Publication Date Title
CN106200945B (zh) 内容重放装置、具有该重放装置的处理系统及方法
US10171769B2 (en) Sound source selection for aural interest
CN110337318B (zh) 混合现实装置中的虚拟和真实对象记录
JP6741873B2 (ja) バーチャルリアリティ分野における装置および関連する方法
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
JP6531760B2 (ja) 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
CN106484099B (zh) 内容重放装置、具有该重放装置的处理系统及方法
US10205969B2 (en) 360 degree space image reproduction method and system therefor
US20190045125A1 (en) Virtual reality video processing
CN107734244B (zh) 全景影片播放方法及播放装置
US20230353717A1 (en) Image processing system, image processing method, and storage medium
WO2019093155A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR101739220B1 (ko) 게임 플레이 상황에 대한 특수 영상 생성 시스템
CN107182021A (zh) Vr电视中的动态空间虚拟声处理系统及处理方法
JP7423974B2 (ja) 情報処理システム、情報処理方法及びプログラム
CN106572425A (zh) 音频处理装置及方法
CN107172413A (zh) 现实场景视频显示方法和系统
JP6646116B2 (ja) 映像音声処理プログラム及びゲーム装置
JP2018026701A (ja) 録音装置、映像音声処理プログラム及びゲーム装置
JP2018033107A (ja) 動画の配信装置及び配信方法
EP2942949A1 (en) System for providing complex-dimensional content service using complex 2d-3d content file, method for providing said service, and complex-dimensional content file therefor
US10200606B2 (en) Image processing apparatus and control method of the same
CN207851764U (zh) 内容重放装置、具有所述内容重放装置的处理系统
CN206908863U (zh) Vr电视中的动态空间虚拟声处理系统
KR20150031662A (ko) 동영상 장치 및 그것의 동영상 생성 및 재생 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210910

Address after: 510006 No. 230 West Ring Road, Guangzhou University, Guangdong, Guangzhou

Applicant after: Guangzhou University

Address before: 510006 School of mechanical and electrical engineering, Guangzhou University, No. 230, outer ring West Road, Guangzhou University, Guangdong Province

Applicant before: Wang Jie

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant