索尼AR/VR专利提出融合骨传导+头相关传递函数的触觉反馈系统

索尼AR/VR专利提出融合骨传导+头相关传递函数的触觉反馈系统

为用户提供基于骨传导振动的触觉反馈

头相关传输函数（HRTF）则是描述了声波从声源到双耳的传输过程。它是人的生理结构对声波进行综合滤波的结果。HRTF是空间音频渲染的关键组成。它帮助我们在3D空间中定位声源，区分在我们上方、下方、前方、后方、左侧或右侧的声音。

在一份名为“Haptic system and method”的专利申请中，索尼提出了融合骨传导和头相关传递函数的骨传导头相关传递函数（bHRTF），通过bHRTF处理的至信号驱动一个或更多个骨传导触感反馈单元，从而提供增强的音频方向确定并因而提升3D沉浸体验。

索尼指出，所述方法与传统骨传导耳机播放采用音频HRTF处理的音频不同。如图2和3所示，传统的HRTF捕获音频的耳间时序差异（图2A），耳间电平差异（图2B），以及由入射声波和外耳的各种频率相关放大特性相互作用引起的频率响应修改（3A和3B）。

相比之下，骨传导bHRTF将具有不同的特性。直接耦合到用户头部的触觉信号在用户头部周围和通过用户头部的衰减会有所不同，并且由于音频在用户头部内的传播速率与通过空气的传播速率不同，时间同样会有所不同。

然而，与空气传播的音频HRTF类似，它产生空间局部的声音感觉（通常称为3D音频），骨传导bHRTF可以产生空间局部的触觉或振动感觉。尽管这种情况会出现由用户头部皮肤的触觉感受器引起的物理触觉或振动，以及由处理后的信号产生的虚拟触觉或振动，但用户可以习惯物理感觉，同时使用虚拟感觉来沉浸于场景之中。

音频HRTF可以通过将麦克风放置在用户或假头的耳道内，并使用从中获得的信号与源音频信号和远程源位置一起计算传递函数来获得。通常，这是通过确定用户对多个源音频信号位置的入耳脉冲或频率响应来实现。

参考图4，对于每个采样位置的声音，获得耳内记录的脉冲响应。这种脉冲响应的傅里叶变换称为频率响应。总的来说，脉冲响应或频率响应可用于定义HRTF。

用户可能不习惯他们头部的触觉输入。所以，可选地训练用户以理解他们正在体验的主观触觉或骨传导音频。例如，可以向佩戴骨传导耳机的用户提供使用骨传导bHRTF处理的触觉和/或音频，使其看起来来自特定位置，并且可以提供相关位置的图形指示。

索尼表示，在VR头显的情况下，用户可以环顾四周以识别位置，并且当他们移动头部以保持位置的相对位置时，处理的触觉和/或音频会发生变化。然后，用户可以明显地定位光源，并从运动美学理解当他们改变头部位置时光源是如何在头顶移动。

团队表示，使用这种方法，用户可以学会识别触觉和/或音频的有效位置。所述方法可以变得有趣，例如允许用户自信地指向有效位置，并对其准确性进行评分。

这种精度分数可以反过来用于所提供的定向信息类型。例如，可以为精度较差的用户提供简单的左或右类型触觉，并引导其将头转向相关信息。

另外，可以为精度较高的用户提供指示左或右程度和/或前后程度和/或上下程度的触觉，从而可以为触觉和/或音频提供更精确的方向队列。应当认识到，精确度或其他用户反馈与所选择的方向类型之间的确切关系可能由设计师自行决定。

对于没有听力受损的用户，可以在常规频率范围内提供骨传导音频。但对于听力受损的用户，由于其耳蜗对传统音频范围没有响应，特别是在传统语音的频率范围内衰减，则可以将预录制或以其他方式生成的音频，特别是对话。相关映射可以用小波变换来完成。

可穿戴骨传导触觉反馈单元56可以包括多个驱动器，通常一个是低频驱动器，另一个是高频驱动器。可以理解的是，低频驱动器接收单独的触觉信号，而高频驱动器接收不同的音频信号。它们可以交替地或额外地接收相互补充的信号。分离的触觉信号可以从特定的触觉反馈数据导出，和/或可以从音频数据的低频分量导出。

在一个实施例中，可以交替地在头饰中以环形头带的形式提供一个、两个或更多个可穿戴的骨传导触觉反馈单元。这个头带可以是一个独立的项目，或者可以是AR/VR头显的内置单元。

值得注意的是，索尼表示骨传导bHRTF提供了超越单元本身位置的增强方向性。

另外，对于传统的音频HRTF，尽管通用HRTF提供了足够的空间音频，但可以使用个性化HRTF来围绕特定用户进行改进。同样的原理适用于骨传导bHRTF，可以更新或替换通用的bHRTF模型，使其更适合用户自己的头部形态。

在一个实施例中，用户可以提交通过任何合适手段获得的头部测量值，例如通过与头显53关联的摄像头捕获的正面和侧面照片。

接下来，可以通过中央服务器将相关照片与通用用户头部参考模板进行比较，以识别相对于这些的差异。然后，服务器可以识别具有最接近相应差异集的参考个体，并检索相应的骨传导bHRTF供当前用户使用。

另外，这样的照片可以直接与参考个体的照片进行比较，以找到最接近的形态学匹配。

这样的参考个体bhrtf库可以通过对涵盖不同年龄、性别、种族等的参考个体的代表性人群执行本文其他地方描述的测试来生成。这个库可以随着时间的推移而增加，并且可以定期重新比较用户的测量值，以确定是否有比当前更好的形态学匹配，从而添加更好的骨传导bHRTF。

值得一提的是，索尼表示尽管发明所述主要是通过头相关传递功能来描述，但原则上所述方法可用于身体的任何其他部位，例如腿、手臂和/或躯干。所以可以以同样的方式在四肢或身体提供这种可穿戴触觉反馈单元的分布。

转到图8，发明描述的触觉反馈方法包括以下步骤。

第一步，提供包括一个或多个骨传导触觉反馈单元的可穿戴触觉反馈装置810。

第二步，使用与骨传导头相关的传递函数“bHRTF”处理的第一信号驱动一个或多个骨传导触觉反馈单元820。

另外，实施例描述的触觉反馈系统包括以下内容：

首先是可穿戴式触觉反馈设备，例如图7所示为头显53。头显可包括一个或多个骨传导触觉反馈单元。其次，音频处理器输出使用骨传导头相关传递函数处理的至少第一信号，并用于驱动一个或多个骨传导触觉反馈单元。

相关专利：Sony Patent | Haptic system and method

名为“Haptic system and method”的索尼专利申请最初在2023年6月提交，并在日前由美国专利商标局公布。

需要注意的是，一般来说，美国专利申请接收审查后，自申请日或优先权日起18个月自动公布或根据申请人要求在申请日起18个月内进行公开。注意，专利申请公开不代表专利获批。在专利申请后，美国专利商标局需要进行实际审查，时间可能在1年至3年不等。

另外，这只是一份专利申请，不代表一定通过，同时不确定是否会实际商用及实际的应用效果。