音频技术在虚拟现实及增强现实中的应用 ​

音频技术在虚拟现实及增强现实中的应用

特别地，音频技术在这一进程中扮演着至关重要的角色。它不仅增强了视觉体验的真实感，还通过声音的空间定位、动态反馈和情感表达，为用户创造了一个全方位、多层次的感官世界。

随着技术的不断进步，音频技术与VR和AR的结合正逐渐改变我们与数字世界的互动方式。从游戏到教育，从医疗到艺术，音频技术的应用前景无限广阔。

1．音频技术在虚拟现实中的应用

在虚拟现实音频的背景下，一个核心研究问题是空间音频技术。这种技术通过模拟人类在现实世界中对声音的三维感知，为每个3D对象提供具有定位感的音频源。双耳音频技术利用了人耳对声音到达时间差异和强度差异的敏感性，从而实现对声音来源方向和距离的准确判断。

在VR环境中，应用双耳音频技术为音频的创新使用提供了新机遇。它允许虚拟对象拥有可以被精确定位的音频源。这种音频源的本地化不仅增强了VR体验的真实感，而且由于其非视觉的特性，它不会像视觉反馈那样对用户的视域造成干扰。这样的音频设计可以更加自然地融入VR环境，使用户在探索虚拟空间时能够获得更加丰富和沉浸式的体验。[1]

图1 空间音频技术

此外，空间音频技术还可以用于增强用户对虚拟环境中事件的感知，例如通过声音提示用户注意某个方向的动态或即将发生的事情。这种音频提示可以是微妙的，但却非常有效，因为它利用了人类对声音的自然反应，而不需要用户将注意力从当前任务上转移开。[2]

虚拟现实在不同情境中的应用带来了许多机遇，同时也面临着需要克服的新挑战，其中一些挑战可以通过有效使用音频技术来解决。

在用户/玩家可以自由环顾其环境的叙事情境中，可以使用音频提示来引导用户的视线和注意力到关键点，避免占用有限的视觉空间，并提供持续的信息流，用于辨别环境本身的空间属性。而且声音具有“始终开启”的特性，能够传递空间特征，例如通过混响来实现，并且具有全方位属性，这并不依赖于像头戴式显示器这样的显示设备的有限视野。

音频相关技术在虚拟现实中的应用

（1）音频空间定位技术。通过将立体声技术与虚拟现实技术相结合，使得用户准确的感受声音的来源以及空间的传播路径。这种技术可以使得用户更好的判断来自不同方向的声音，增强虚拟世界的沉浸感。

（2）环境音效模拟技术。通过音效编辑、混音和特效处理等技术手段,可以模拟各种环境声音,如风吹树叶声、雨滴声、水流声等。这些逼真的环境音效能够提升用户的沉浸感,使虚拟世界与现实世界之间的界限更加模糊。

（3）语言交互技术。通过语音识别和合成技术,用户可以与虚拟环境中的虚拟角色进行真实的对话。这种交互方式使得用户能够更加便捷地操作虚拟环境,增加了用户的参与感与沉浸感。

2．音频技术在增强现实中的应用

增强现实(Augmented Reality, AR)技术 旨在将计算机生成的虚拟内容与物理环境无缝融合，使虚拟内容与现实世界融为一体。

AR可以增强人们对周围环境的感知和互动，也可以帮助人们更轻松地完成现实世界的任务。然而，绝大多数AR研究都集中在视觉增强上。音频增强现实(Audio Augmented Reality, AAR)仍未得到充分开发。

在音频增强现实中，虚拟听觉内容被融合到物理世界中，以增强用户的真实声学环境。模拟真实世界的听觉。

随着价格合理的消费级技术的出现，用于交互式3D音频的收听和录制，音频增强现实体验的提供变得更加普及。AAR技术通过在真实听觉环境中加入虚拟音频实体，实现了对环境的扩展。这种技术已经被广泛应用于电话会议、无障碍音频系统、基于位置的音频游戏、纯音频游戏、协作工具、教育以及娱乐等多个领域。[3]

与传统耳机相比，AAR技术的一个显著优势在于，它不会在私人听觉空间和公共听觉空间之间形成隔阂。AAR技术追求的是声学透明性，即用户在使用过程中，应该能够像没有佩戴耳机一样自然地感知周围环境，同时难以区分哪些声源是真实存在的，哪些是由技术生成的。

然而，实现这种声学透明性，让听者无法区分真实与虚拟声源，仍然是该技术领域面临的一个主要技术挑战。

在音频增强现实的研究领域，目前的研究重点主要集中在技术特性上，以及这些技术如何与设备和媒体进行交互。然而，对于用户体验的深入探索相对较少。

现有研究涉及了音质感知、区分真实与虚拟声音的能力、真实感的营造，以及用户对AAR可穿戴设备的适应性等方面。

AAR的空间音频和格式技术在沉浸式剧院中的应用，为创造虚构空间和平行现实提供了新途径，能够以多样化的方式吸引观众，并有可能促进更多的互动、参与和协作。

沉浸式剧院中的耳机剧院依赖于双耳声音技术，这种声音虚拟现实加强了观众的沉浸感，并提升了表演的多模态体验。但许多耳机剧院表演因为使观众彼此隔离，以及没有将物理耳机作为表演的一部分来认可，而受到了批评。为了克服这些限制，一些剧院团体已经开始在现场表演中使用双耳录音设备。

例如，英国国家剧院的《安娜》和英国合拍剧团（Complicité）的《邂逅》等作品，就通过耳机为观众提供了更加亲密和直接的表演体验。这些剧目通过结合增强的声音效果和现实生活中的互动，创造了一种新型的戏剧体验，既利用了AAR技术的优势，又保持了现场表演的互动性和共同体验。[4]

图2 英国合拍剧团（Complicité）出品的《邂逅》舞台剧剧照（图片源于网络）

微软的HoloLens 2 是一款混合现实头戴设备，它通过先进的传感器和摄像头捕捉现实世界的环境信息，然后通过高分辨率的全息图像叠加在用户的视野中。HoloLens 2 配备了空间声音技术，这种技术可以创建3D音频效果，让用户感觉到声音似乎来自虚拟对象所处的实际空间位置。

例如，在建筑设计中，设计师可以通过HoloLens 2听到从不同方向传来的声音，增强对空间布局的感知，从而提高设计效率和体验。

图3 微软HoloLens增强现实设备

参考文献

[1]Baker, H. 2022. “Meta: $1 Billion Spent In Quest Store.”UploadVR. Accessed October 17, 2022.

[2] Barlow, C., T. Michailidis, G. Meadow, J. Gouch, and E.Rajabally. 2019. “Using Immersive Audio and Vibrationto Enhance Remote Diagnosis of Mechanical Failure inUncrewed Vessels.” Audio Engineering SocietyConference: 2019 AES International Conference onImmersive and Interactive Audio, York, UK.

[3] M. Comunità, A. Gerino, V . Lim, and L. Picinali, “Design and Evaluation of a Web- and Mobile-Based Binaural Audio Platform for Cultural Heritage,”Appl. Sci., vol. 11, no. 4, paper 1540 (2021 Feb.)

[4] S. Russell, G. Dublon, and J. A. Paradiso,“HearThere: Networked Sensory Prosthetics Through Auditory Augmented Reality,” in Proceedings of the 7th Augmented Human International Conference, paper 20.