使用深度学习降低环境噪声的无线耳机

使用深度学习降低环境噪声的无线耳机

随着COVID-19封锁期间会议逐渐转向线上，许多人发现附近嘈杂的声音扰乱了重要的对话内容。

三名华盛顿大学的研究人员受此启发开发了更好的耳机，为了增强扬声器的声音并减少背景噪音，“ClearBuds”使用新颖的麦克风系统和机器学习系统，可以实时操作并在智能手机上运行。

“ClearBuds在两个关键方面与其他无线耳机区别开来，”保罗·艾伦计算机科学与工程学院（Paul G. Allen School of Computer Science & Engineering）博士生Maruchi Kim说，“首先，ClearBuds使用双麦克风阵列。每个耳机中的麦克风创建两个同步的音频流，提供信息，并允许我们以更高的分辨率在空间上分离来自不同方向的声音。其次，轻量级神经网络进一步增强了说话者的声音。”

虽然大多数商用耳机的每个耳机上都有麦克风，但一次只有一个耳机主动向手机发送音频。使用 ClearBuds，每个耳机都会向手机发送一个音频流。研究人员设计了蓝牙网络协议，允许这些信息在70微秒内同步。

该团队的神经网络算法在手机上运行以处理音频流。首先，它抑制任何非语音声音。然后，它可以同时将两个耳机中收集到的演讲者的声音与环境噪声分离并加强。

“由于说话者的声音靠近并且与两个耳机的距离大致相等，因此可以训练神经网络仅关注他们的语音并消除背景声音，包括其他声音。”共同主要作者，艾伦学院的博士生Ishan Chatterjee说。“这种方法与你自己的耳朵的工作方式非常相似。他们利用声音从左耳和右耳传来的时间差来确定声音来自哪个方向。”

当研究人员将ClearBuds与Apple AirPods Pro进行比较时，ClearBuds的表现更好，在所有测试中都实现了更高的信噪比失真比。

“当你考虑到我们的神经网络必须在不到20毫秒的时间内在iPhone上运行的事实时，这是非同寻常的，iPhone的计算能力只是大型商用显卡的一小部分，通常用于运行神经网络，”共同主要作者，艾伦学院的博士生Vivek Jayaram说。“这是我们在本文中必须解决的挑战的一部分：我们如何采用传统的神经网络并减小其尺寸，同时保持输出的质量？”

该团队还在“野外”测试了ClearBuds，记录了八个人在嘈杂的环境中阅读古腾堡计划，例如咖啡店或繁忙的街道上。然后，研究人员让37个人对这些录音进行10到60秒的剪辑。参与者将ClearBuds神经网络处理的片段评为具有最佳的噪声抑制和最佳的整体聆听体验。

研究人员说，ClearBuds的一个局限性是，人们必须同时佩戴两个耳机才能获得噪音抑制体验。

但该团队表示，这里开发的实时通信系统可用于各种其他应用，包括智能家居扬声器、跟踪机器人位置或搜索救援任务。

该团队目前正致力于使神经网络算法更加高效，以便它们可以在耳机上运行。

信息源于：techxplore

  关于我们  

21dB声学人是中国科学院声学研究所苏州电声产业化基地旗下科技媒体，专注于声学新技术、音频测试与分析、声学市场调研、声学学习社群建设等。