脑机接口领域新突破：听觉方位注意解码技术，提升跨试次脑电数据解码准确率

 脑机接口领域新突破：听觉方位注意解码技术，提升跨试次脑电数据解码准确率

脑机接口技术作为一种新兴的人机交互方式，通过直接解码大脑的电信号来实现对外部设备的控制，为这些问题提供了新的解决方案。然而，现有的听觉方位注意解码技术在跨试次脑电数据解码准确率方面仍存在不足，亟需改进。

中国科学院声学研究所的研究人员针对现有技术的局限性，申请了一项名为“高效的听觉方位注意解码方法及装置”的发明专利（CN118885872A）。该项专利于近日公开。

该方法通过采集听者的脑电信号，经过预处理、时频变换、分帧处理等步骤，得到脑电信号的时频能量谱，并将其输入训练好的听觉方位注意解码模型中，最终输出空间方位注意的分类概率。这种方法能够有效提高跨试次脑电数据解码的准确率，为听觉辅助设备的智能化和精准化提供了有力支持。

发明内容

1.解码方法

脑电信号采集与预处理：首先，采集听者的脑电信号，并进行预处理，包括降低采样率、滤波和减去平均值。

时频变换：对预处理后的脑电信号进行时频变换，得到脑电信号的时频能量谱。

分帧处理：对时频能量谱进行分帧处理，得到决策窗集合。

模型输入与分类：将决策窗集合依次输入训练好的听觉方位注意解码模型，得到脑电信号的空间方位注意的分类概率。

2.解码模型

模型结构：听觉方位注意解码模型包括特征提取器、平均池化层和分类器。

特征提取器：由卷积神经网络构成，用于提取处理后的时频能量谱中的时空特征。卷积神经网络通常包括一个二维卷积层、一个批归一化处理层和一个参数修正线性单元（ReLU）激活函数。

平均池化层：用于降低时频能量谱中的时空特征的维度，得到降维后的空间特征。具体操作是将时频能量谱中的时空特征在时间维度上进行平均。

分类器：由全连接网络和Softmax激活函数构成，用于对降维后的空间特征进行分类，得到空间方位注意的分类概率。全连接神经网络的输出维度通常为2，Softmax函数用于将输出转换为概率分布。

训练过程：通过构建典型样本集和使用交叉熵函数计算模型损失，利用梯度反向传播算法对模型参数进行更新，直至模型收敛。

构建典型样本集的过程包括以下几个步骤：

数据采集：对听者的脑电信号进行采集，得到多个试次的脑电信号。

预处理：对每个试次的脑电信号进行预处理，包括降低采样率、滤波和减去平均值。

时频变换：对预处理后的脑电信号进行时频变换，得到时频能量谱。

分帧处理：对时频能量谱在时间维度上进行切分，得到原始决策窗集合。

随机采样与平均叠加：对原始决策窗集合进行随机采样与平均叠加，得到包含多个样本的典型样本集合。具体步骤包括从均匀分布中随机采样K个数后进行归一化处理，得到归一化权重；随机采样一个目标方向（左或右）；在所有真实标签为目标方向的决策窗中随机采样K个决策窗样本，并利用归一化权重进行加权求和，得到一个典型样本。

通过这种方法，典型样本集的试次特征被显著削弱，同时听觉注意特征得到保留，从而有利于听觉方位注意解码模型的训练。

使用典型样本集对听觉方位注意解码模型进行训练的过程包括以下几个步骤：

样本选择：从典型样本集合中选取一个样本，输入听觉方位注意解码模型。

特征提取：特征提取器提取样本的时空特征。

分类与损失计算：分类器对提取的特征进行分类，得到空间方位注意的分类概率。结合分类的真实标签，使用交叉熵函数计算模型损失。

参数更新：利用梯度反向传播算法对卷积模块和全连接模块的参数进行更新。

迭代训练：不断重复上述过程，直至听觉方位注意解码模型收敛，得到训练好的模型。

通过这种训练方法，模型能够更好地捕捉听觉方位注意的脑电能量分布线索，从而提高跨试次脑电数据解码的准确率。

创新点

1.时频能量谱的应用

该专利首次将脑电信号的时频能量谱作为输入，使解码模型更容易捕捉对听觉方位注意较为重要的脑电能量分布线索，从而提高了解码的准确性。

2.典型样本集的构建

通过使用来自不同试次的样本重新构建典型样本作为训练集，显著削弱了试次特征对模型的影响，同时保留了听觉注意特征，有利于模型的泛化能力和鲁棒性提升。

总结

本专利通过创新的时频变换和深度学习模型训练方法，有效提高了听觉方位注意解码的准确性和可靠性。它可以应用于助听设备领域，帮助听力障碍者更准确地感知声音来源；在虚拟现实领域，可以实现更为自然和沉浸式的交互体验；此外，在人机交互、医疗康复等领域也有着巨大的潜在应用价值。