声呐技术替代光学摄像头——增强可穿戴设备面部捕捉隐私性

康奈尔大学的研究人员已经开发出了一种可穿戴的耳机设备或称“earable”——它将声音从脸颊上反射出来，并将回声转化为一个人整个移动面部的模型，利用声学技术提供更好的隐私保护。

由信息科学助理教授Cheng Zhang和信息科学教授François Guimbretière领导的团队设计了这个名为EarIO的系统。它将面部运动实时传输到智能手机上，并与市售耳机兼容，用于免提、无线视频会议。

Zhang说，使用摄像头跟踪面部运动的设备“体积大、重量重、耗能大，这对可穿戴设备来说是一个大问题。而且，它们捕获了很多私人信息。”

他表示，通过声学技术进行面部跟踪可以提供更好的隐私、价格、舒适度和电池寿命。

该团队在《计算机协会交互式、移动、可穿戴和普适技术汇刊》上发表了论文《EarIO：一种连续跟踪面部细节动作的低功率声感耳器》（EarIO: A Low-power Acoustic Sensing Earable for Continuously Tracking Detailed Facial Movements），描述了他们的耳机设备earable。

EarIO的工作原理就像一艘发射声呐脉冲的船。耳机两侧的扬声器向面部两侧发送声音信号，麦克风接收回声。当佩戴者说话、微笑或扬起眉毛时，皮肤会移动和伸展，从而改变回声轮廓。研究人员开发的深度学习算法使用人工智能持续处理数据，并将不断变化的回声转换为完整的面部表情。

“凭借人工智能的威力，该算法发现了人类眼睛无法识别的肌肉运动和面部表情之间的复杂联系，”该研究的合著者、信息科学领域的博士生Ke Li说。“我们可以利用它来推断出更难捕捉的复杂信息——整个面部。”

此前，Zhang教授的实验室曾尝试通过带摄像头的耳机来跟踪面部运动，并根据从耳朵上看到的脸颊运动来重现整个面部。

通过收集声音而不是大量数据的图像，耳机可以通过无线蓝牙连接与智能手机通信，从而保护用户信息的隐私。如果是收集图像的话，该设备需要连接Wi-Fi网络，并在云端来回发送数据，这可能使其容易受到黑客的攻击。

“人们可能没有意识到可穿戴设备有多智能，这些信息对你有什么影响，公司可以用这些信息做什么。”Guimbretière说。通过面部图像，人们也可以推断情绪和行为。“这个项目的目的是确保所有的信息和隐私，都在用户的本地控制和计算。”

使用声信号也比记录图像耗能更少，EarIO的能耗是Zhang实验室之前开发的另一个基于摄像头的系统的1/25。目前，earable在无线耳机电池上可以使用约3小时，但未来的研究将专注于延长使用时间。

研究人员在16名参与者身上测试了该设备，并使用智能手机摄像头来验证其模仿面部表现的准确性。初步实验表明，当用户坐着或走动时，它都能工作，而且风噪、路噪和讨论的背景声都不会干扰它的声音信号。在未来的版本中，研究人员希望提高耳机的能力，屏蔽附近的噪声和其他干扰声。

“我们使用的声学传感方法非常敏感，”合著者、信息科学领域的博士生Ruidong Zhang说。“这是好事，因为它能够跟踪非常细微的动作，但这也是坏事，因为当环境中有什么变化或当你的头轻微移动时，我们也都会捕捉到它。”

该技术的一个限制是，在首次使用之前，EarIO必须收集32分钟的面部数据来训练算法。该团队表示希望这款设备能够做到即插即用。

信息源于：techxplore