下载:
-
开放科学（资源服务）标识码（OSID）：
-
情感是人类生活中的重要因素，它影响着人们的工作、沟通、社会生活和心理状态等方面。对人类情感的研究涉及认知科学、神经科学和心理学等多个领域。随着脑机接口和物联网等技术的兴起，多种生理信号如肌电信号、心电信号、呼吸率、皮肤电流反应和脑电(Electroencephalogram，EEG)信号都可以用于自动情感识别。得益于其便利性(非侵入性和简单性)和有效性(灵敏度和兼容性)，EEG能够以更准确的方式来捕捉大脑信号[1]，通过内部和外部刺激引起情绪活动，经由放置在头皮上的多个电极即可收集到EEG数据，随后使用人工智能技术提取有效EEG特征，并设计相应的分类算法。
目前，研究人员提出了一系列基于EEG情感识别的机器学习方法，如神经网络、随机森林、深度学习等[2]。由于对非线性系统的精确逼近能力，模糊模型在EEG情感识别领域得到成功应用。例如，Malkawi等[3]提出了一种自适应神经模糊系统，该系统使用不同类型的输入/输出隶属函数建立了多个模型，并通过多类型输出数组进行训练。Alruwaili等[4]利用希尔伯特-黄变换和微分熵方法提取信号特征，然后使用分数反馈到模糊神经网络进行EEG情感状态分析。面对EEG信号中的冗余信息，Li等[5]提出了一种多标签模糊系统来建立情感识别的模糊规则，并使用融合子空间聚类和模糊C均值(Fuzzy C-Means，FCM)聚类的优化方法来降低模糊规则的复杂度。Dhara等[6]提出了一种基于模糊集成的深度学习方法，使用深度集成方法生成模糊秩，能够自适应地融合决策分数对EEG进行情感分类。Hasanzadeh等[7]提出了一种多个并行级联的模糊逻辑系统模糊模型，用于EEG音乐情绪认知的分类。Gu等[8]提出了一种多视角半监督模糊模型，基于多输入多输出模糊逻辑系统框架和多视角半监督学习处理多种EEG情感特征，减少对样本的标签依赖。Ahmadzadeh等[9]将模糊集的概念融入卷积神经网络，将卷积层特征转换为模糊化特征，并将去模糊化的模糊集作为层次间的信息传递。
EEG信号具有明显频域特征，根据节律特点可以分为多个频带[10]：δ(1~4 Hz)、θ(4~8 Hz)、α(8~14 Hz)、β(14~31 Hz)和γ(31~50 Hz)。δ波能记录人脑的最慢脑电波，与大脑最深层的放松和恢复性、治愈性睡眠有关。θ波出现在催眠、深度冥想和轻度睡眠中，属于大脑潜意识活动范畴。α波在大脑安静的思考和一些冥想状态下占主导地位。当注意力集中在认知任务和外部世界时，β波主导着大脑正常的清醒意识状态。γ波是最快的脑电波，能同时处理来自不同大脑区域的信息。尽管不同频带的EEG信号对情感识别的影响不同，但相关理论研究和实验结果表明，使用多频带组合的效果优于使用单频带[2]。因此，挖掘不同频带EEG信号之间的互补信息能有助于提高EEG情感识别的准确度。然而，目前常用的EEG情感识别方法往往将多个频带信号拼接在一起形成单个特征向量，这种方法显然无法充分利用不同频带之间的联系。此外，由于EEG数据是非线性的、不平滑的，并且信噪比低，在EEG数据采集过程中通常存在数据的不确定性，容易受到测量误差和随机误差的影响[8]。
为缓解上述问题，一方面利用EEG数据不同频带特征的一致性和互补性，另一方面有效处理EEG的不确定信息，提出了基于自适应多频带结构保持TS(Adaptive Multiple Frequency-Bands Structure Preserving Takagi-Sugeno，AMFSP-TS)模糊模型的EEG情感识别方法。该模糊模型基于多输入多输出TS型模糊逻辑系统，其中后件网络参数是重点研究内容。AMFSP-TS模型的前件网络参数由传统的聚类算法得到，后件网络参数致力于挖掘多个EEG频带共享的共同判别信息，同时保留每个频带的特定判别信息。为此，后件网络参数分解为体现频带间相关性的共享部分和体现频带特定结构信息的特定部分，后件网络参数学习则由带权重的全局结构保持项和局部结构保持项2部分构成。在全局结构保持项中，AMFSP-TS模型在模糊空间中对共享后件参数施加低秩约束，其低秩性可以挖掘潜在模糊空间中数据的全局结构信息；同时，AMFSP-TS模型对特定后件参数施加
$l_{2, 1}$ -范数的稀疏约束，以挖掘每个频带在识别任务中的作用。在局部结构保持项中，AMFSP-TS模型在模糊空间中将图矩阵学习与特定后件参数学习相结合。不使用先验预设的结构信息，在模型更新过程中自适应地学习相似性矩阵，进一步达到挖掘各频带局部结构信息的目的。最后通过公开数据集DEAP上的实验结果验证AMFSP-TS模型的有效性和可行性。
全文HTML
-
TS模糊模型框架如图 1所示，主要包括前件网络和后件网络2部分。模型从输入到输出划分为5层，其中后件层由前件参数和后件参数共同构成[11-12]。TS模糊模型的数学描述如下：
1) 输入层：每个前件网络的输入层包括
$d$ 个神经元，用于传递输入值。当第$t$ 个样本进人时，输人层的输出可以表示为：$\boldsymbol{x}=\left(x_{1}, x_{2}, \cdots, x_{d}\right)$ ，并将输入值$\boldsymbol{x}$ 直接提供给下一层。后件网络的输入层包括$d+1$ 个变量，第0个节点的输人是常数1，即$x_{0}=1$ 。2) 隶属函数层：该层扩展至d×K个神经元，每个节点的输出表示相应输入的隶属值。当使用高斯函数时，第i个模糊规则的第j维隶属函数μAi，j(xj)表示为：
式中：mi，j和σi，j分别为隶属函数的中心和宽度。
3) 规则层：该层有K个神经元，当使用模糊乘法算子作为模糊逻辑规则时，规则层输出可以表示为：
式中：μi(x)为规则层第i个神经元的输出。
为了提升模型的泛化能力使得隶属函数覆盖整个输入空间，将规则层输出采用重心法去模糊化，去模糊化后其值表示为
$\tilde{\mu}_{i}(\boldsymbol{x})$ ：式中：K为模糊规则数。
4) 后件层：后件网络由C个结构相同的并列后件子网构成，每个子网络产生一个输出量，共有K×C个神经元。后件参数传输到后件层，形成一组“If-Then”构成的模糊推理规则。在分类问题中，一个多输入x=(x1，x2，…，xd)多输出y=(y1，y2，…，yc)TS模糊模型的第i条(i = 1，…，K)规则表示为：
式中：
$d$ 为模糊维数；$c$ 为样本的类别数，$c=1, 2, \cdots, C ; A_{i, j}$ 为第$i$ 条规则第$j$ 维的模糊集。TS模糊模型第$c$ 类后件参数表示为$\boldsymbol{W}_{i, c}=\left[w_{i, c 0}, w_{i, c 1}, \cdots, w_{i, c d}\right]^{\mathrm{T}} \in \mathbf{R}^{(d+1)}$ ，后件参数$\boldsymbol{W}$ 表示为：5) 输出层：该层有
$C$ 个输出节点，每个节点$\hat{y}_{c}(\boldsymbol{x})$ 对输入参数进行加权求和，计算式为：最终，测试样本
$\boldsymbol{x}$ 的类别标签表示为$C$ 个输出节点中$\hat{y}_{c}(\boldsymbol{x})$ 值最大的分量对应的类别，即：TS模糊模型需要优化的参数包括前件参数{m，σ}和后件参数W。传统的TS模糊模型常采用梯度下降法优化前后件参数，近年来一些学者使用聚类法优化前件参数和最小二乘方法优化后件参数，这些方法具有通用性强、泛化能力好、稳定性强等特点。若使用FCM聚类，则mi，j等于FCM聚类中心，σi，j的计算式为：
式中：
$\mu_{t . i}$ 为聚类得到的模糊隶属度；$h$ 和$n$ 分别为隶属度函数参数和样本个数。原始数据集
$\boldsymbol{X}$ 在模糊空间的映射为$\mu(\boldsymbol{X})=\left[\mu\left(\boldsymbol{x}_{1}\right), \cdots, \mu\left(\boldsymbol{x}_{n}\right)\right] \in \mathbf{R}^{(d+1) K \times n}$ ，其中$\mu(\boldsymbol{x})=\left[\mu_{1}(\boldsymbol{x}), \cdots\right.$ ，$\left.\mu_{K}(\boldsymbol{x})\right]$ 。根据最小二乘损失函数，TS模糊模型后件参数的优化表示为：式中：γ为正则化参数。
-
本文在TS模糊模型的框架上提出了AMFSP-TS模糊模型。设V个频带EEG数据表示为{X(ν)，Y}ν=1V，其中X(ν)=[x1(ν)，…，xn(ν)]∈ Rd×n是第ν个频带的EEG特征，Y是标签矩阵。AMFSP-TS模型使用聚类方法对X(ν)进行划分，得到第ν个频带对应的模糊规则隶属度函数中心。根据式(8)可得模型的前件参数{m(ν)，σ(ν)}，X(ν)经过映射转换得到新的特征表示μ(X(ν))。AMFSP-TS模型的后件参数矩阵为W=[W(1)，…，W(V)]，第ν个频带对应的后件参数表示为W(ν)，后件参数分解为共享部分和特定部分的线性组合，即W(ν)=Θ+E(ν)，其中共享部分Θ用来描述频带之间的相关性，特定部分E(ν)用来描述第ν个频带的特有信息。在后件参数的学习上，AMFSP-TS模型重点解决2个问题：①如何有效体现多个频带数据之间的协同关系和差异性；②如何体现不同频带在模型决策中的不同作用和重要程度。为此，AMFSP-TS模型建立全局结构保持项和局部结构保持项，以有效利用各频带特征来全面表现EEG数据的特点，提高模型的识别能力。
-
首先，在情感识别问题上，不同频带EEG数据的分类结果应保持一致。AMFSP-TS模型使用最小二乘损失函数来构造特征矩阵
$\mu\left(\boldsymbol{X}^{(\nu)}\right)$ 和标签矩阵$\boldsymbol{Y}$ 之间的联系，即$\min\limits_{\boldsymbol{W}}\left\|\left(\boldsymbol{W}^{(\nu)}\right)^{\mathrm{T}} \mu\left(\boldsymbol{X}^{(\nu)}\right)-\boldsymbol{Y}\right\|_{F}^{2}$ 。在后件参数学习中，AMFSP-TS模型通过后件参数共享部分$\boldsymbol{\varTheta}$ 来挖掘EEG数据的潜在全局结构信息，以达到频带间较好的一致性和协同关系。因为样本类别数远小于样本容量，也小于模糊规则数，因此矩阵$\boldsymbol{\varTheta}$ 具有低秩性，即$\boldsymbol{\varTheta}$ 满足$\min\limits_{\boldsymbol{\varTheta}} \operatorname{rank}(\boldsymbol{\varTheta})$ 。AMFSP-TS模型通过后件参数特定部分$\boldsymbol{E}=\left[\boldsymbol{E}^{(1)}, \cdots, \boldsymbol{E}^{(V)}\right]$ 来保留每个频带在识别任务中的独特作用和有价值信息，同时去除那些对识别任务无用的信息，因此第$\nu$ 个频带数据的$\boldsymbol{E}^{(\nu)}$ 具有行稀疏的特点，即$\boldsymbol{E}^{(\nu)}$ 满足$\min\limits_{\boldsymbol{E}}\left\|\boldsymbol{E}^{(\nu)}\right\|_{2, 1}$ 。另外，AMFSP-TS模型为每个频带对应的后件参数赋予一个频带权重$\theta^{(\nu)}$ ，构成权重向量$\boldsymbol{\theta}=\left[\theta^{(1)}, \cdots, \theta^{(V)}\right] \in \mathbf{R}^{V}$ ，在后件参数学习中自适应地平衡各频带数据在识别任务中的比重。因此，全局结构保持项表示为：式中：
$\gamma$ 、$\alpha$ 和$\beta$ 为正则化参数；$r$ 为权重指数；$\mathbf{1}$ 为全1矩阵。需要说明的是：
1) 低秩约束
$\operatorname{rank}(\boldsymbol{\varTheta})$ 将所有频带视为一个单元来学习低维后件空间，其保留了数据的全局结构。由于低秩运算最小化属于NP难题，AMFSP-TS模型使用核范数$\|\boldsymbol{\varTheta}\| *$ 代替$\operatorname{rank}(\boldsymbol{\varTheta})$ 。根据核范数的定义，$\operatorname{rank}(\boldsymbol{\varTheta})=\operatorname{tr}\left(\boldsymbol{\varTheta}^{\mathrm{T}} \boldsymbol{H} \boldsymbol{\varTheta}\right)$ ，其中$\boldsymbol{H}=\left(\boldsymbol{\varTheta} \boldsymbol{\varTheta}^{\mathrm{T}}\right)^{-1 / 2}$ 。2) 稀疏矩阵
$\boldsymbol{E}^{(\nu)}$ 采用$\ell_{2, 1}$ -范数而不是$\ell_{1}$ -范数作为稀疏正则化。首先，与$\ell_{1}$ -范数的平坦稀疏性不同，$l_{2, 1}-$ 范数正则化涉及结构化稀疏性，能够提高稀疏学习算法的效率[13]。其次，$l_{2, 1}-$ 范数正则化问题的求解方法比$\ell_{1}$ -范数的方法简便。根据$\ell_{2, 1}$ -范数的定义，$\left\|\boldsymbol{E}^{(\nu)}\right\|_{2, 1}=\operatorname{tr}\left(\left(\boldsymbol{E}^{(\nu)}\right)^{\mathrm{T}} \boldsymbol{D}^{(\nu)} \boldsymbol{E}^{(\nu)}\right)$ ，其中$\boldsymbol{D}^{(\nu)}$ 是对角线矩阵，对角线元素$d_{i, i}^{(\nu)}=1 /\left(2\left\|\boldsymbol{E}_{i}^{(\nu)}\right\|_{2}\right)$ 。3) AMFSP-TS模型使用频带权重
$\boldsymbol{\theta}$ 来控制频带比重。权重指数$r(r>1)$ 能防止某一频带在整个模型中比重过大而忽视其他频带。因此，式(9)可以改写为：
-
为体现多个频带数据之间的差异性，AMFSP-TS模型在模糊空间中保持多频带EEG数据的局部结构信息。在模式识别中，图嵌人能实现对数据分布的深人探索[14]。图嵌人策略将所有样本视为图的顶点，可以满足分类边界附近样本间的平滑性要求和不同类别样本之间的可区分要求。设相似性矩阵
$\boldsymbol{S}=\left[\boldsymbol{S}^{(1)}\right.$ ，$\left.\cdots, \boldsymbol{S}^{(V)}\right], \boldsymbol{S}^{(\nu)}=\left\{s_{i, j}^{(\nu)}\right\}_{i, j=1}^{n}$ 为第$\nu$ 频带数据的相似性矩阵，如果第$i$ 个样本是第$j$ 个样本的$k$ 最近邻，则它们之间存在一条邻接边。第$\nu$ 频带数据的局部保留投影（Locality Preserving Projections，LPP) 项可以表示为$\sum\limits_{i, j} s_{i, j}^{(\nu)}\left\|\left(\boldsymbol{W}^{(\nu)}\right)^{\mathrm{T}} \mu\left(\boldsymbol{x}_{i}^{(\nu)}\right)-\left(\boldsymbol{W}^{(\nu)}\right)^{\mathrm{T}} \mu\left(\boldsymbol{x}_{j}^{(\nu)}\right)\right\|_{F}^{2}$ ，其中$\boldsymbol{S}^{(\nu)}$ 矩阵一般采用"热核"或者"0-1"准则来计算。但对于EEG信号存在不可避免的噪声、冗余等不确定性，传统方法构造出的相似性矩阵很难准确描述样本间的关联性，而且热核函数有$k$ 近邻和核宽参数需要调整，学习模型的计算成本较大。为解决这一难题，AMFSP-TS模型将相似性矩阵学习与后件参数学习相结合，在模型的迭代过程中自适应更新$\boldsymbol{S}^{(\nu)}$ 。因此，局部结构保持项表示为：式中：
$\left\|\boldsymbol{S}^{(\nu)}\right\|_{F}^{2}$ 为正则化项；$\lambda$ 为正则化参数。定义拉普拉斯矩阵
$\boldsymbol{L}_{\boldsymbol{s}}^{(\nu)}=\boldsymbol{\varOmega}^{(\nu)}-\boldsymbol{S}^{(\nu)}, \boldsymbol{\varOmega}^{(\nu)}$ 是一个对角矩阵，其对角线上的元素$d_{i, i}^{(\nu)}=\sum\limits_{j} s_{i, j}^{(\nu)}$ ，则式（11) 可以改写为： -
AMFSP-TS模型在后件参数学习中同时考虑全局结构保持项和局部结构保持项，将式(10)和式(12)联合构成AMFSP-TS模型的目标函数，即：
目标函数中待优化的变量包括{W，E，Θ，S，θ}，本文使用增广拉格朗日乘子法求解。式(13)对应的增广拉格朗日目标函数为：
式中：
$\boldsymbol{Q}=\left[\boldsymbol{Q}^{(1)}, \cdots, \boldsymbol{Q}^{(V)}\right]$ 为拉格朗日乘子矩阵。AMFSP-TS模型变量更新的过程如下：
1) 更新Θ：固定变量{W，E，S，θ}，得到关于Θ的目标式，即：
对Θ求一阶导数可得Θ的解析解，即：
2) 更新W：固定变量{E，Θ，S，θ}，得到关于W(ν)的目标式，即：
对W(ν)求一阶导数可得W(ν)的解析解，即：
3) 更新E：固定变量{W，Θ，S，θ}，得到关于E(ν)的目标式，即：
为求解方便，将式(19)改写为：
对E(ν)求一阶导数可得E(ν)的解析解，即：
4) 更新S：固定变量{W，E，Θ，θ}，得到关于S(ν)的目标式，即：
定义矩阵
$\boldsymbol{P}^{(\nu)}, \boldsymbol{P}^{(\nu)}$ 的元素$p_{i, j}^{(\nu)}=\frac{1}{2 \lambda}\left(\theta^{(\nu)}\right)^{r}\left\|\left(\boldsymbol{W}^{(\nu)}\right)^{\mathrm{T}} \mu\left(\boldsymbol{x}_{i}^{(\nu)}\right)-\left(\boldsymbol{W}^{(\nu)}\right)^{\mathrm{T}} \mu\left(\boldsymbol{x}_{j}^{(\nu)}\right)\right\|_{F}^{2}$ ，式（22) 改写为：使用拉格朗日方法，可得si(ν)的解析解，即：
式中：
$\hat{p}_{i, j}^{(\nu)}$ 为向量$\hat{\boldsymbol{p}}_{i}^{(\nu)}$ 的第$j$ 个元素；$\hat{\boldsymbol{p}}_{i}^{(\nu)}$ 为$\boldsymbol{p}_{i}^{(\nu)}$ 升序排列的结果；$(\cdot)_{+}$ 表示向量中的所有元素都是非负的；$k$ 为预设的常数。参照文献[15]，参数$\lambda$ 的值为：5) 更新θ：固定变量{W，E，Θ，S}，得到关于θ的目标式，即：
使用拉格朗日方法并根据Karush-Kuhn-Tucker (KKT)条件，可得θ(ν)的解析解为：
最终，测试样本
$\boldsymbol{x}$ 的类别标签根据$V$ 个频带EEG数据对应的决策函数和权重信息得到，其值对应$V$ 个频带$C$ 个输出节点中$\hat{y}_{c}^{(\nu)}(\boldsymbol{x})$ 值最大的分量类别为：AMFSP-TS算法如算法1所示。
算法1 AMFSP-TS算法 输入： $V$ 个频带的EEG数据$\left\{\boldsymbol{X}^{(\nu)}, \boldsymbol{Y}\right\}_{\nu=1}^{V}$
输出：分类决策函数
Step 1：使用FCM聚类划分$\boldsymbol{X}^{(\nu)}$ 得到前件参数$\boldsymbol{m}$
Step 2：由式（7) 得到前件参数$\boldsymbol{\sigma}$
Repeat
Step 3：由式（16) 更新变量$\boldsymbol{\varTheta}$
Step 4：由式（18) 更新变量$\boldsymbol{W}$
Step 5：由式（21) 更新变量$\boldsymbol{E}$
Step 6：由式（24) 更新变量$\boldsymbol{S}$
Step 7：由式（27) 更新变量$\boldsymbol{\theta}$
Until目标式（14) 收敛或达到最大迭代次数
Step 8：由式（28) 得到模型决策函数
2.1. 全局结构保持项
2.2. 局部结构保持项
2.3. 目标函数及模型优化
-
为分析AMFSP-TS模型EEG情感识别的可行性，本文在EEG情感识别研究的基准数据集DEAP[16]上进行了验证。DEAP数据集包含32名受试者观看40段音乐视频时产生的EEG数据。EEG数据采集使用了32个有源电极，电极按照10-20国际标准放置在头部头皮上。EEG的采样频率为512 Hz，预处理时下采样到128 Hz，经过4~45 Hz的带通滤波器，EOG伪影被去除。32名受试者的情感状态使用效价唤醒量表来衡量，唤醒的范围从不活跃到活跃，效价的范围从令人不快到令人愉快，其标签值分布在[1, 9]范围内。实验中，EEG信号被分解为θ(4~8 Hz)、α(8~14 Hz)、β(14~31 Hz)和γ(31~50 Hz)频带。参照文献[9]和[17]，唤醒和效价的评级转换为分类问题。唤醒评级(或效价评级)小于等于5时，分类标签为“低”；唤醒评级(或效价评级)大于5时，分类标签为“高”。EEG数据被分割成持续时间为1 s的样本，分割后每个受试者对应的样本数为2 400。实验使用微分熵(Differential Entropy，DE)[18]处理EEG数据，每个频带的特征维数为32维。
实验对比方法有FS-RGLSVR[19]、FMTC[20]、FBeM_MTL[21]、MV-L2-SVM[22]、AWDR[23]和MV-TSK-FS[24]，其中FS-RGLSVR作为TS模糊模型的基线算法；FMTC和FBeM_MTL是基于多任务学习的TS模糊模型，将每个频带视为一个学习任务；MV-L2-SVM、AWDR和MV-TSK-FS是基于多视角学习的智能模型，将每个频带视为一个视角任务。为了公平比较，所有的TS模糊模型均使用FCM聚类辨识结构并使用相同的前件参数，每个频带的规则数和隶属度函数参数的网格搜索范围分别为
$K \in\{5, 10, \cdots$ ，$30\}$ 和$h \in\left\{0.4^{2}, ~ 0.6^{2}, ~ \cdots, ~ 2^{2}\right\}$ 。FBeM＿MTL方法中设定参数$\beta=0.7 、h_{r}=48 、\eta=0.5$ ，稀疏图正则化参数$\rho_{1}=1 、\rho_{2}=\rho_{3}=0$ 。所有方法的正则化参数网格搜索范围为$\left\{10^{-3}, 10^{-2}, \cdots, 10^{3}\right\}$ 。AMFSP-TS模型的模糊指数为2。实验采取受试者独立的策略，在每个受试者上运行10次，随机抽取每个受试者$80 \%$ 的数据作为训练集，剩余$20 \%$ 的数据作为测试集。识别准确率和F1分数（F1-measure) 作为实验结果的评价指标。 -
表 1、表 2分别展示了对比方法在32个受试者效价和唤醒2个维度的识别准确率。从表 1的结果可以看出，AMFSP-TS模型取得了最优的效价识别准确率，除受试者5和22的效价识别准确率较低外，其他受试者的效价识别准确率均高于85%。表 2的结果也可以说明AMFSP-TS模型的有效性，除受试者22的唤醒识别准确率较低外，其他受试者的唤醒识别准确率均高于85%。由于EEG数据存在信号弱、易受环境干扰等影响，效价和唤醒维度存在明显的个体差异性。
图 2分别展示了对比方法在效价和唤醒2个维度的平均识别准确率和F1分数。从图 2可以看出，AMFSP-TS模型在效价和唤醒2个维度的平均识别准确率分别达到88.60%和89.23%，较基线模糊模型FS-RGLSVR分别提高了8.81%和9.16%，较次好方法分别提高了1.96%和1.95%。AMFSP-TS模型在后件参数学习中通过低秩约束和稀疏约束保留多频带数据的一致性和互补性，通过自适应权重平衡各频带在情感识别中的作用。针对EEG多频带数据的关联性和差异性，AMFSP-TS模型在后件参数学习中融入频带特征的全局结构和局部结构信息。另外，AMFSP-TS模型将模糊空间的相似性矩阵视为一个未知变量而非使用常规的近邻策略，进一步挖掘频带中有价值的信息，因此AMFSP-TS模型具有较强的泛化学习能力。而FMTC方法通过粒度计算，每个类都被视为一个信息颗粒，每个类的识别任务独立进行，多频带EEG数据间的联系和差异不能得到充分挖掘；FBeM_MTL方法融合了进化学习、多任务学习和模糊模型，并转化为线性回归模型，也无法挖掘隐含在多频带EEG数据间的内在联系；MV-TSK-FS方法使用多视图框架协同处理多频带EEG数据，仅简单地通过二次正则化视图加权机制来区分每个频带的重要性；AWDR方法将原始特征的级联映射到有判别力的低维子空间来融合多频带EEG数据；MV-L2-SVM方法则将多频带EEG数据投影到高维核空间，无法考虑EEG数据的结构信息。
-
通过消融实验分析AMFSP-TS模型各部分的作用。AMFSP-TS模型主要包括全局结构保持项和局部结构保持项，全局结构保持项又分为3个子部分，分别为：最小二乘损失函数、后件特定参数稀疏项和低秩约束项。由于最小二乘损失函数作为后件参数学习的基准项，因此消融实验主要针对后件特定参数稀疏项、低秩约束项和局部结构保持项展开。具体方式为：①在目标函数中设置参数α=0来考察后件特定参数稀疏项；②在目标函数中设置参数β=0来考察低秩约束项；③在目标函数中设置θ为0向量，设置参数λ=0，并消去关于矩阵S的约束项来考察局部结构保持项。
图 3分别展示了DEAP数据集上效价和唤醒2个维度的平均识别准确率和F1分数。从图 3中可以看出，AMFSP-TS模型不考虑后件特定参数稀疏项时的平均识别准确率和F1分数在效价维度分别下降了0.98%和0.99%，在唤醒维度分别下降了0.51%和1.00%，说明后件特定参数稀疏项用来保留每个EEG频带在后件参数学习中的独特作用是有效的。AMFSP-TS模型不考虑低秩约束项时的平均识别准确率和F1分数在效价维度分别下降了1.95%和1.84%，在唤醒维度分别下降了1.17%和1.49%，说明低秩约束项确实能起到保留数据全局结构的作用。AMFSP-TS模型不考虑局部结构保持项时的平均识别准确率和F1分数在效价维度分别下降了3.11%和2.98%，在唤醒维度分别下降了2.22%和2.32%，说明保持局部结构也很重要，有助于模型更深层次地挖掘EEG的隐含信息。
-
首先分析各频带在AMFSP-TS模型的权重值。AMFSP-TS模型在DEAP数据集上效价和唤醒维度最优值时的频带权重比例如图 4所示。结果发现，不同频带EEG数据所占的权重是不同的。无论效价维度还是唤醒维度达到最优时，权重向量θ中高频带(β和γ)的比重明显大于低频带(θ和α)，说明在EEG情感识别中应该侧重考虑高频带数据，同时以低频带数据为辅。
接着从参数敏感性分析AMFSP-TS模型的性质。需要寻优的参数包括正则化项‖ W(ν)‖F2的参数γ、后件特定参数稀疏项‖E(ν)‖2，1的参数α和低秩约束rank(Θ)的参数β。正则化项‖ S(ν)‖F2的参数λ可由式(25)直接求得。图 5展示了受试者1~10在效价和唤醒维度上的识别准确率平均值。从图 5a可以看出，不同的γ值会导致AMFSP-TS模型性能的变化，但总体在小范围内浮动。实验发现其他受试者上也有类似的结果。参数α控制矩阵E(ν)的行稀疏，α值越大，E(ν)越稀疏。从图 5b可以看出，当α＞1时，AMFSP-TS模型在效价和唤醒维度上的识别准确率较高。低秩约束项在模型中起到保留数据全局结构的作用，从图 5c可以看出，当参数β较小时，AMFSP-TS模型在效价和唤醒维度上的识别准确率都较低；当β＞1后，模型的性能趋于稳定并达到较高的识别准确率。
3.1. 数据集和实验设置
3.2. 实验结果比较
3.3. 消融实验
3.4. 频带权重和参数敏感性分析
-
EEG信号具有隐蔽性、便携性和非侵入性等特点，在情感识别中得到了广泛的应用。本文提出了一种AMFSP-TS模糊模型用于EEG情感识别，借助模糊模型的不确定信息处理能力来保证模型的可靠性，同时通过分析EEG多频带共享判别信息和每个频带特定判别信息，使用低秩约束、稀疏约束、相似性矩阵等方法挖掘频带数据的全局结构和局部结构信息，自适应地平衡各频带在识别模型中的权重，获得最优情感识别效果。实验分析了DEAP数据集上θ、α、β和γ频带数据，发现当β和γ频带比重较大、θ和α频带比重较小时，模型的识别效果较好。
由于不同个体的情感状态存在差异性，情感表达具有一定的主观性，本文实验未探究跨个体场景的情感识别问题。在下一阶段工作中，将在现有研究基础上提升模型的泛化性，关注被试无关的模糊模型。另外，本文仅针对EEG数据开展情感识别的研究，如何融合肌电、心电等多种生理信息建立多模态模糊模型也将是日后的重要研究内容。