当前位置:首页  音频网  技术学院  音频技术音频正文

MPEG-I沉浸式音频:打造逼真VR/AR音效的标准

发布时间:09-13 编辑:音频应用

扩展现实的成败仍然取决于许多用户首先关注的一点:声音。MPEG-I沉浸式音频标准通过将逼真的6DoF音频、场景元数据和规范的渲染器整合到一个可互操作的框架中,从而弥补了这一差距,该框架适用于VR、AR和混合现实。
 扩展现实(XR)——包括虚拟现实、增强现实和混合现实——在视觉方面取得了飞速发展。头戴式显示器能够呈现清晰的图像、低延迟和精准的追踪;实时引擎则能构建出触手可及的虚拟世界。然而,一旦声音表现不自然,这种沉浸感就会被打破。例如,合唱团在石砌教堂中无法清晰地发出声音,鼓声被墙壁遮挡却并非通过衍射传播,或者自己的声音在所观察的房间中显得不自然——这些都会破坏沉浸感。要获得令人信服的沉浸体验,音频必须能够感知听者的位置、方向和动作,并了解世界:它的几何形状、材质、通道和声学状态。它必须在听者进行六自由度(6DoF)移动时,依然能够真实且一致地渲染这些物理效果,并且必须依赖于足够强大的格式和渲染器,以确保内容的便携性和未来兼容性。

长期以来,XR音频一直依赖于绑定到特定引擎或设备的专有技术栈。团队重复编写流程,资源难以跨平台复用,而且没有人能够保证今天创作的内容在几年后仍能以完全相同的方式呈现。MPEG-I沉浸式音频标准[1-4]解决了这些问题。它定义了压缩的场景描述和规范的渲染器,能够以交互的方式实时呈现声学世界。该标准旨在实现互操作性和长期稳定性;它将音频场景元数据提升为与波形同等重要的资源,从而使体验能够经受住生态系统的不断变化。

“令人信服的XR体验要求感知到的声音能够对用户做出反应——用户的位置、方向以及与声源的互动。”——Andreas Silzle

一个连贯的游戏场景来支撑这项技术
设想一个动作冒险虚拟现实(VR)游戏,场景设定在一座通向庭院的大教堂中。在中殿里,唱诗班正在祭坛附近排练。早期的反射声从墙壁和柱子上闪烁;后期的混响在你周围逐渐增强。你侧身走进一条侧廊,躲到一根花岗岩柱子后面——直达声被阻挡,一种柔和的、角度相关的衍射使合唱团的声音清晰可闻,却又不违背物理定律。一扇厚重的橡木门将回廊隔开;门关上时,能量通过门的材质耦合,使合唱团的声音不再像墙后那样虚幻,而是像一个位于门面的声源。外面,庭院里喷泉喷水——这显然是一个具有宽度和高度的空间扩展声源。你走近喷泉,然后走进喷泉,听到一个环绕四周的室内声响。广场对面,一位鼓手正在演奏;你毫不费力地就能定位他的位置,直到一辆红色公交车驶入,此时,遮挡和衍射决定了你听到的声音。

几何形状和材质至关重要——运动亦然:距离、多普勒效应、指向性以及渲染管线中建模的许多其他声学效果都会以交互式速率持续更新。

这并非仅仅是各种效果的拼凑;而是可靠的 6DoF 音频渲染器应有的行为。MPEG-I 通过标准化表示和渲染,使这种行为具有可移植性和一致性。

什么是 MPEG-I 沉浸式音频(以及为什么 6DoF 如此重要)?
MPEG-I 沉浸式音频是 ISO/IEC 针对压缩音频场景描述和交互式 6DoF 渲染的标准。听众可以自由旋转(偏航、俯仰、横滚)并在空间中平移(x、y、z);随着他们的移动,渲染器会根据声源属性、几何形状、材质、声学环境和局部输入实时更新声场。该格式开放且可互操作,设计旨在长期稳定运行,适用于流媒体和文件操作,并与MPEG-H [5] 3D 音频波形编码(对象、声道和高阶 Ambisonics (HOA))完全兼容。对于实时音频输入,可以使用其他音频编解码器(例如低延迟语音编解码器,如 3GPP IVAS [6])来传输输入的声音。

三自由度 (3DoF) 音频(围绕头部旋转一个球形声场)非常重要,MPEG-H 已经对此进行了处理。然而,六自由度 (6DoF) 需要一个世界模型:房间、形状、表面、材质、遮挡物、通道和空气。该模型包含在 MPEG-I 元数据比特流中,并由一个规范渲染器进行听觉化处理,该渲染器的渲染管线模拟了听众期望听到的物理效果。

工作原理:架构和核心技术
该系统可以分为三个部分:创作与编码、传输与存储以及解码与渲染。

创作和编码始于编码器输入格式 (EIF),这是一种基于 XML 的描述格式,用于描述声源(对象、声道、高阶声学环境)、位置和方向、空间扩展声源 (SESS)、声学环境(室内、室外)、几何形状(网格和体素)、材质(反射、透射、吸收、耦合)、变换以及交互式更新。编码器分析这些原始元数据,并导出补充数据以加速渲染——候选反射路径、衍射边缘、可见性列表以及感知替代方案(例如,在适当情况下使用低复杂度早期反射 (LC-ER))。最终生成一个压缩的 MPEG-I 元数据比特流,与 MPEG-H 音频信号一起输出(图 1)。


图 1:顶层架构:场景创作使用 EIF 和场景内容编码,以 MHAS 格式传输比特流,渲染器通过本地更新和 LSI 输入进行场景解码和播放。
传输与存储采用 MPEG-H 音频流 (MHAS) 格式。MPEG-I 提供三种数据包类型(场景配置、场景更新、场景有效载荷),从而确保初始化、运行时更改和主要元数据高效传输。流可以复用用于客户端-服务器、广播或存储为文件;现有的 MHAS 机制支持链接和同步。

解码与渲染将 MPEG-H 波形馈送到 PCM,而 MPEG-I 比特流则描述声学场景并传递补充数据。渲染器还会接收本地输入(跟踪的位置和方向),并且对于 AR 应用,还会接收用于表征物理聆听空间(几何形状、材质、扬声器布局)的聆听空间信息 (LSI),以便将虚拟对象逼真地放置在物理聆听空间中。

场景状态保存当前元数据;场景控制器应用更新;流管理器将 PCM 连接到音频元素。控制以适中的更新速率运行,通常为 50Hz 至 120Hz。支持 32kHz、41kHz 和 48kHz 三种采样率。音频处理以块为单位进行,默认大小为 256 个采样,但可根据特定应用程序的需求进行自定义。所有渲染项 (RI),即构成丰富声学场景的“原子”,都会经过一系列阶段,这些阶段以交互方式将它们组合成一个复杂的声学场景——模拟距离和多普勒效应、指向性、早期反射(图像源或 LC-ER)、遮挡、衍射、门户和混响、SESS 渲染、空间化器和可访问性——最终输出到双耳耳机或跟踪扬声器 [4]。

“渲染器不仅仅是定位声音——它还能对场景的物理特性进行可信的近似模拟。”——Sascha Disch

场景描述:几何体、材质和声源
6DoF 渲染器不仅需要知道声音的来源,还需要知道声音如何与环境交互。 MPEG-I 沉浸式音频使用网格和体素对声学相关的几何形状进行编码,每个网格和体素都包含指定反射、透射、吸收和耦合的材料(图 2)。


图 2:公园峡谷和喷泉场景的视觉场景(顶行面板)及其相关的声学几何形状和材料分配(底行面板)[7]。
网格提供精确的形状——墙壁、柱子、门——并支持反射和衍射建模的高保真度。每个网格面都可以承载材质系数;曲面可以显式表示,也可以通过细分曲面表示,扩展模型可以减轻诸如可见性闪烁和“迪斯科球”效应(反射声音在曲面周围出现不必要的开关切换)之类的瑕疵。

体素支持运行时编辑和程序化世界。由于体素几何体可以在渲染期间修改,因此它非常适合交互式场景——挖掘、建造、破坏——而无需编码器预烘焙。高效的遮挡和一阶反射算法直接在体素网格上运行。

声源可以占据空间。SESS 将大小和形状表示为范围。均匀范围将统一的声音特征直接转换为双耳输出,匹配双耳线索,同时考虑与大小相关的衰减和每种材质的遮挡。异质范围使用映射到表面上的多个输入信号;自适应虚拟扬声器渲染外部声音,当听者进入其覆盖范围时,声音过渡到内部声音的过程非常平滑。HOA 支持单点(SP-HOA,3DoF)和多点(MP-HOA,6DoF)两种模式,并基于虚拟扬声器对空间元数据进行插值,同时提供低复杂度选项。

渲染器流程:从元数据到声音
渲染器通过将 RI 的“原子”声音贡献依次通过一系列流程阶段(图 3)来串行化听觉化过程。


图 3:渲染管线阶段和 RI 传播 [4]。

持续声源持续激活,而触发声源(例如与场景运行时可能发生的事件相关的声源)则通过效果激活器进入,该激活器仅在激活时创建声源。房间分配会更新听者和每个房间内声源 (RI) 所处的声学环境 (AE),为多房间逻辑的混响和传送门做好准备。颗粒合成从颗粒数据库中提供程序化声音,这些声音可以通过场景中的动作进行交互式控制(例如,用户操作的电机的转速乘以扭矩),从而为混音添加自然的动态变化。

每个声学环境 (AE) 都使用反馈延迟网络 (FDN) 合成后期混响,这些网络根据房间尺寸和频率相关的衰减进行调谐。渲染器会在用户环境周围放置一个沉浸式声场,并将局部混响范围限定在相邻房间的传送门附近,这样“隔壁的混响”就会从门口传来,而不是扩散开来。传送门之间的能量交换保证了声源或听者靠近、穿过或远离时实现平滑过渡。

门户本身模拟传输和耦合。当传输接近于零但耦合不为零时,门户会变成一个表面局部化的声源,重新发射过滤后的入射能量。

早期反射 (ER) 使用图像源模型来模拟一阶和二阶镜面反射,并结合材质感知滤波。扩展模型可以减轻潜在的曲面伪影,距离定律也会根据反射的球面或柱面扩散进行调整。低复杂度 ER 则提供基于简单房间参数的感知调谐固定模式;听觉测试表明,LC-ER 以极少的计算量即可达到逼真的效果,从而使可扩展的复杂度要求成为可能 [8]。

气流模拟通过过滤粉红噪声来模拟头部周围的风,并具有速度和角度相关的特性。Discover SESS 对听者周围球面上的可见声源部分进行采样,为遮挡和双耳线索合成提供有限点。遮挡分析使用材质感知传输滤波器执行视线分析,并按材质堆叠对声源结果进行分组。衍射利用角度相关的滤波器,在靠近听者的边缘创建次级声源;体素变体在运行时确定路径。

异质范围渲染多信号范围和高阶声像分布 (HOA),并采用自适应虚拟扬声器组。指向性应用了适用于人声和乐器的方向相关均衡。距离通过可变延迟线和子采样插值来模拟传播延迟,并计算由几何扩散和空气吸收引起的声级变化,同时考虑范围的尺寸相关衰减;必要时,可以对移动的远距离声音对象的视听时间偏移进行建模。移动声源的多普勒效应在延迟线中隐式建模。

定向聚焦(辅助功能)可减弱离轴干扰,并可通过控制器或眼动追踪进行控制。元数据剔除功能会禁用听不到的参考信息,以优化计算负载;整合功能会将感知上无法区分的参考信息分组,以进一步降低复杂性[9]。然后,均衡器设计最小相位有限脉冲响应 (FIR) 滤波器以应用累积增益。SP-HOA 和 MP-HOA 渲染全景声源(单点使用 MagLS 解码;多点使用插值空间元数据或低复杂度虚拟扬声器)。声像定位器通过矢量基幅度声像定位 (VBAP) 来定位沉浸式后期混响。

最后,空间化器生成具有平滑 HRIR 交叉淡入淡出的双耳输出。此外,跟踪扬声器渲染功能支持在固定的多声道扬声器设置上播放,无论听众在物理空间中如何移动,始终保持最佳听音位置。

扩展声源 (SESS)
许多现实世界的声源并非点状物体。人群、喷泉、管弦乐队和车辆占据空间并传递大小信息。MPEG-I 为同质和异质范围都提供了高效的渲染路径。对于同质范围,双耳线索(例如双耳互相关、相位和电平差异)通过参数控制的单声道信号空间上混直接合成,该上混采用去相关技术,同时距离行为会考虑物体的大小;遮挡效果与材质相关,并以透明的方式混合。

对于异质范围,多个信号被空间映射到该范围内,并使用自适应虚拟扬声器进行渲染;一旦听者进入内部,内部渲染就会平滑地接管。这些机制能够真实地展现规模和距离感,并简化创作过程:三角钢琴可以给人以宏大的感觉,而无需任何虚假效果;喷泉的内部空间既具有环绕感又保持了连贯性;当你靠近时,发动机舱的声音听起来始终如一(图 4)。


图 4:空间扩展声源 (SESS):均匀范围模拟具有均匀声音特性的声源的空间范围(上图)。异质范围由多个声源信号生成,这些信号可以基于投影到声源几何形状上的 3×3 网格进行空间映射(下图)。

入口、耦合声源和多房间混响
:相邻房间之间存在声学交互。混响会通过开口泄漏;关闭的门会通过振动传递能量;宽阔的拱门会模糊边界。入口通过将几何形状与控制声波传输和耦合的材料相结合,来捕捉这些交互作用。

在MPEG-I中,来自相邻空间的混响被重现为入口附近的局部扩展声源,使其来自合理的方向;而功能密度网络(FDN)之间的能量交换则使得当人或声源跨越边界时,混响过渡平滑。当传输较低但耦合显著时,入口表现为表面局部发射源:紧闭的木门后的合唱团的声音定位在门上,而不是门后(图5)。


图 5:a) 耦合声源和混响交换。b) 通过门户连接的两个房间[4]。

耳机和扬声器的空间化:耳机仍然是 XR 的默认设备;快速 HRIR 卷积结合交叉淡入淡出技术可提供低延迟的双耳化,可选的个性化设置可以改善外部化效果。此外,该标准还提供通过扬声器进行跟踪渲染(图 6)。实时跟踪听者位置数据可以进行专门的处理,以补偿用户在扬声器产生的声场中移动所带来的声学影响,从而显著提高声像稳定性,形成一个更大的可移动“最佳聆听区域”,而不是像传统扬声器再现那样存在一个有限的“最佳聆听点”。


图 6:跟踪扬声器渲染:最佳听音位置跟随听众路径 [2]。
跟踪渲染技术应用延迟和电平补偿,使最佳听音位置跟随听众移动,从而在不同位置保持空间稳定性。它支持高频扬声器指向性校正;分层式二维声像定位策略(水平/高度)可在 2.0 到 22.2 阵列范围内实现三维物体定位。这使得无需复杂的系统即可打造可步行的声场。增强现实 (AR)

与 LSI 的对齐:
当虚拟音频与物理房间相匹配时,AR 才能成功。LSI 接口在运行时将几何形状、材质、声学参数(例如混响时间)和扬声器布局传递给渲染器。锚点将虚拟内容与物理位置对齐;混响经过调整以匹配房间。最终呈现的是感觉定位精准的虚拟声音——与用户所见所闻和预期相一致。

跨行业应用:
在社交 VR 中,听众自己的声音会在共享的虚拟环境中渲染,因此语音听起来像是锚定在环境中。文化遗产和教育领域通过逼真的音频模拟,利用材料和通道使历史空间的过渡更加真实可信。沉浸式媒体——例如音乐会和体育赛事——利用 HOA 和 MP-HOA 以及元数据流来支持可导航的聆听体验。培训和模拟依赖于遮挡和衍射来提供情境线索;多房间逻辑和扩展声源则能营造出逼真的环境。对于装置艺术而言,跟踪式扬声器渲染可以将画廊和实验室变成可行走的声学舞台。

工业应用和新兴的工业元宇宙:
除了娱乐之外,MPEG-I 沉浸式音频对于工业 XR 工作流程也至关重要——在新兴的工业元宇宙中,它可用于培训、维护、检查和数字孪生应用。在这里,精准的空间音频并非为了追求视觉奇观,而是为了提升情境感知和安全:即使在视觉复杂的环境中,也能可靠地定位机器、工具、警报器或同事。由于渲染器能够一致地模拟声波传播、遮挡、衍射和房间耦合,因此生成的听觉场景支持自然的导航,并能提升用户在时间紧迫或高负载任务中的表现。

与典型的游戏引擎音频相比,手动调整的需求更少。
对于工业级 XR 而言,MPEG-I 的一项主要实际优势在于,与当今传统的游戏引擎中间件相比,它能显著减少音频场景的创作工作量。MPEG-I 渲染器无需手动创建混响区域、遮挡曲线、辅助发送和房间过渡逻辑,而是直接从几何体、材质和门户定义中导出大部分此类效果。早期反射、后期混响、遮挡、衍射和跨房间泄漏等效果均源自模型本身,无需手动调整。这使得不同设备上的效果更加可预测,并显著降低了集成和维护负担——这对于工业部署至关重要,因为在这些部署中,可扩展性和鲁棒性比艺术上的微调更为重要。

感知评估和用户体验实践:
真实性是 XR 音频的实用衡量标准。其目标并非严格还原物理参考物,而是与视觉效果、物理特性和用户预期保持一致。为了评估其感知性能,我们对 MPEG-I 沉浸式音频进行了全面的验证测试。 MPEG-I沉浸式音频验证测试报告已发布[10]。

真实性和自然用户体验的一个关键方面在于对听者自身声音的处理:延迟过长时,直达声会与自然声学路径(空气传导和骨传导)产生不悦耳的混合,从而引起干扰和不适。MPEG-I通过提供独立的直达声、早期反射和后期混响控制来解决这个问题,使用户能够在不破坏沉浸感的情况下自定义舒适度。

最后,计算复杂度管理确保了沉浸式渲染在不同设备上的实用性。低复杂度的早期反射、感知整合的声源、元数据筛选和精简的MP-HOA处理降低了计算负载,同时又不牺牲真实感。

“辅助功能应该内置于渲染器中——在那里,它实际上比助听器中的任何后处理都能更好地降低聆听难度。”——Sascha Disch

行业展望:积极、可衡量、可操作
6DoF音频标准的实施改变了整个生态系统的激励机制。内容变得可移植;元数据被视为首要交付物;设备制造商在共享规范的框架下,围绕效率、易用性和质量展开竞争。实际应用路径包括:基于 EIF 的创作工具和引擎导出插件;将 MPEG-H 音频和 MPEG-I 元数据集成到 MHAS 中,用于流媒体和广播;渲染器 SDK 实现规范流程,同时开放本地输入和 LSI 导入功能,用于增强现实 (AR);以及以元数据为中心的流程,对场景描述进行版本控制和测试,其严格程度与视觉资源相同。

“标准让团队能够交付经得起生态系统变革的体验。”——Sascha Disch,
回到教堂。唱诗班歌唱;早期反射声在石头和木头间绽放;后期混响充满整个空间,衰减与空间的尺寸和材质完美契合。走到一根柱子后面,你会听到遮挡作用如何通过材质感知均衡器衰减和过滤直达声,而衍射则提供了一条柔和而合理的路径,使唱诗班的声音始终存在。一扇锁着的门关上了;唱诗班的声音在门前变成了一个耦合的、局部化的声场。走进庭院;喷泉以SESS(空间效果渲染)的形式呈现——首先是外部,然后随着你在水雾中移动,内部逐渐显现。广场对面,一位鼓手走来;距离通过多普勒效应增加了物理上正确的延迟和衰减,而指向性则随着角度的变化而改变音色。微风拂过;气流在你耳边低语。整个过程中,整合和筛选平衡了复杂性;LC-ER(低频增强反射)技术使反射声在性能受限的设备上也能保持真实可信。这并非各种特效的杂乱堆砌,而是对一个紧凑、基于物理原理的场景描述进行连贯且可信的听觉化呈现。

开发者视角:实用创作指南
从声学上的关键要素入手。视觉几何结构可以很复杂,但声学几何结构应该巧妙地简化——主要边界、关键遮挡物和反射元素都应该被呈现,并且每个相关的面都应该带有材质属性。尽早处理空间声学特性(SESS):确定均匀范围是否足够,或者是否需要异构映射以增强真实感。传送门连接空间:将它们用于门、拱门和窗户,并调整耦合,使封闭表面表现得合情合理。平衡早期反射:在精度至关重要的情况下部署图像源建模;在性能预算紧张但必须保持合理性的情况下使用局部声学增强(LC-ER)。通过将交互与场景更新连接起来来利用局部输入;在增强现实(AR)中,向局部声学传感器(LSI)提供精确的房间尺寸和混响时间,以便锚点能够将虚拟对象与物理空间无缝对齐。如果目标是扬声器重放,请配置跟踪渲染,以在听众移动时保持空间稳定性。最后,请考虑可访问性,为听力障碍人士提供可选辅助功能——例如方向聚焦、混响减少和频谱补偿——从而在不影响沉浸感的前提下提高清晰度和舒适度。

结论:打造逼真 XR 音效的坚实基础
MPEG-I 沉浸式音频将 XR 音效从临时效果链提升到标准化的听觉化,从而模拟使空间和声源感觉真实的各种现象:早期反射、衍射、遮挡、通道、多房间混响、声源大小、指向性和距离。它在耳机和扬声器上提供交互式 6DoF 渲染,并通过 LSI 将增强元素与物理房间对齐。

通过在高质量路径和低复杂度模式之间取得平衡,并将可访问性引入渲染器,它为开发者、艺术家和平台提供了一个稳定的基础,以实现持久的沉浸式体验。aX

参考文献
[1] ISO/IEC 23090-4,“信息技术——沉浸式媒体的编码表示,第 4 部分:MPEG-I 沉浸式音频”,2025 年,国际标准化组织/国际电工委员会,瑞士日内瓦,https://www.iso.org/standard/84711.html
[2] J. Herre 等人,“MPEG-I 沉浸式音频:超越点源渲染的 VR/AR 音频的多功能高效表示”,国际音频工程协会 (AES) 游戏音频会议,2024 年,日本东京
[3] S. Disch 等人,“MPEG-I 沉浸式音频——虚拟/增强现实音频的 ISO/MPEG 标准”,音频工程协会期刊,2026 年,已接受投稿。
[4] S. Disch 等人,“MPEG-I 沉浸式音频——虚拟/增强现实音频新标准的技术”,第 159 届音频工程协会 (AES) 大会,2025 年,美国加利福尼亚州长滩,https://aes2.org/publications/elibrary-page/
?id=23078 [5] J. Herre、J. Hilpert、A. Kuntz 和 J. Plogsties,“MPEG-H 3D 音频——沉浸式空间音频编码的新标准”,IEEE 信号处理专题期刊——空间音频特刊,2015 年,9(5): 页。 770-779 DOI: https: //ieeexplore.ieee.org/document/7056445
[6] 3GPP TS 26.253 “沉浸式语音和音频服务编解码器 (IVAS);详细算法描述,包括 RTP 有效载荷格式和 SDP 参数定义”,2023 年。
[7] A. Silzle 等人,“MPEG-I 沉浸式音频 - 即将推出的虚拟/增强现实新音频标准”,DAGA,2023 年,德国汉堡。
https://pub.dega-akustik.de/DAGA_2023/data/articles/000634.pdf
[8] A. Silzle、S. Dick、S. Disch 和 A. Adami,“低复杂度早期反射模式在实时 6DOF 听觉虚拟环境中的应用实现与评估”,第五届音频工程协会 (AES) 虚拟与增强现实音频国际会议 (AVAR),2024 年,美国加利福尼亚州雷德蒙德。https://aes2.org/publications/elibrary-page/?id=22668
[9] S. Dick,“3 维音频处理和编码的心理声学效应和模型”,Technischen Fakultät,博士论文,2023 年,弗里德里希-亚历山大埃尔兰根-纽伦堡大学 (FAU)
[10] A. Silzle 等人, “MPEG-I 沉浸式音频标准的感知评估”,第 160 届音频工程学会 (AES) 大会,2026 年,丹麦哥本哈根。https://aes.org/publications/elibrary-page/?id=23149

技术交流群:①群 50691091 ②群 628548312

关键字: 音频

+ 关注作者 ☆ 收藏 ↗ 分享
微信
QQ
复制链接
关闭

声明:该文观点仅代表作者本人,音频应用发布平台仅提供信息存储空间服务。加微信:254969084!百家号免费发布

最新音频交流