网刊加载中。。。

使用Chrome浏览器效果最佳,继续浏览,你可能不会看到最佳的展示效果,

确定继续浏览么?

复制成功,请在其他浏览器进行阅读

不同情绪状态下脑网络的信息流向研究

  • 樊强 1
  • 周律 1,2
  • 范永晨 1
  • 吴莹 1,2
1. 西安交通大学 机械结构强度与振动国家重点实验室 航天航空学院 西安 710049; 2. 西安交通大学 力学国家级实验教学示范中心 西安 710049

中图分类号: O322

最近更新:2022-03-04

DOI:10.6052/1672-6553-2021-026

  • 全文
  • 图表
  • 参考文献
  • 作者
  • 出版信息
EN
目录contents

摘要

脑功能网络的信息流向能反映不同脑区之间的因果关系,通过研究不同情绪状态下脑区间的因果关系,不仅对揭示情绪产生的机理至关重要,而且可以对情绪的产生进行有效的分析、识别和监控.在人工智能领域,有效的情绪识别将直接影响人机交互过程.本研究使用DEAP情绪数据集,基于传递熵的方法构建有向功能网络,探讨了在不同情绪状态下信息流的流向及强弱变化规律,以及不同脑区间存在的信息传递相互影响模式.研究发现,不同的情绪状态下各脑区的信息流量强度不同,唤醒度越高,信息流强度越大.信息流向和脑区各节点局部连接方式也存在显著差异.同时,进一步证明唤醒度和效价两个情绪维度上存在相互依赖性.该研究为情绪识别提供了重要的参考指标和研究思路.

引言

情绪是人类对外界客观事物的态度及其相应的行为反应,对于人类的心理健康和行为有着重要的影

1-3.如何能够实现准确的情绪识别,在人机交互过程中占据着重要的地位,机器能否对人类的情绪加以理解和分析,将会直接影响到人机交互过程.在医学治疗方面,情绪研究也有着深远的意义,准确的识别情绪将有助于对有心理疾病或表达障碍的患者进行诊断和疏导.为了进行情绪识别,研究者对情绪状态进行了量化和建模,目前情绪研究广泛使用的是由唤醒度(Arousal)和效价(Valence)构成的二维情绪模型.其中唤醒度刻画情绪的强烈程度,效价反应情绪的积极性和消极4.

目前,情绪研究主要依据:面部表情、语音特征、肢体动作和电生理信号

5,其中电生理信号凭借其难以伪装,信息丰富的特性而被研究者广泛应6-8.对于情绪研究的方法主要集中在基于脑磁图(magnetoe-ncephalography, MEG)、脑电图(electroencephalogram, EEG)和功能磁共振成像(functional MRI, fMRI)等技术构建大脑功能网络,用节点和边将大脑系统抽象成网络,在内部或外部因素的影响下,网络中节点自身状态或节点间拓扑连接关系发生变化.通过计算网络中节点及连接等动力学特征指标,可以揭示不同情绪状态下大脑内部动态自适应的变化机9-13.EEG数据由于其高时间、高空间分辨率而被越来越多的学者作为研究情绪的重要数据来9-13.Xing M10利用EEG数据研究了情绪调节过程中的认知负荷问题,发现θ波段的特征路径长度值在情绪调节过程中增加,认为θ波段对情绪识别尤为重要.曹锐11使用相位滞后指数(Phase Lag Index, PLI)基于DEAP情绪数据库构建了不同波段下的EEG功能网络进行情感识别.Gupta R12基于DEAP情绪数据库构建了幅值平方相干功能网络,提取网络的平均路径长度、全局效率、局部效率等特征,并在两个维度上对情绪进行分类.Sara N13通过记录被试在完成定向遗忘任务时的EEG数据,发现人脑信息对情绪不同维度的处理过程不同,研究表明这种差异性依赖于效价与唤醒度之间的相互影响.

已有的研究主要通过构建无向功能网络来揭示脑区之间的功能差异,并以此作为依据来进行两个维度的情绪研究与识

10-13.但不同情绪状态下各脑区信息流的流向、强弱,以及各脑区之间的相互影响等问题还未得到深入研究,无法从本质上分析不同情绪状态下信息的流向及强弱.本研究通过构建有向网络的方法,探究不同情绪状态下信息在各脑区的流动方向、强度和可能存在的局部连接模式等指标的变化情况.通过研究不同情绪状态下各脑区间的因果关系,分析脑内信息流的变化,进一步确定更有效的情绪识别特征指标.目前,有向网络的研究多为基于格兰杰因果模型进行建模分析,该模型是使用线性随机模型来描述系统信号的内在动力学关系,用于分析线性系统间的相互影响,在人类大脑这样高度的非线性系统中进行识别时,需对目标对象作线性化处14.相比之下,传递熵是基于信息论的有向连接度量方法,不需要建模就可以定量研究非线性复杂系统任意两个过程之间的信息传递方15.自2000年Schreiber提出传递熵的理论方法15,该方法已被广泛应用于复杂系统信息传递的研究,如使用脉冲序列数据识别听觉皮层神经元之间的信息传16,利用脉冲序列研究心率对呼吸频率的影17,利用脑电数据对癫痫患者癫痫病灶定位18.然而,基于传递熵的方法构造有向网络进行情绪相关的研究尚未见相关报道.为此,本研究基于DEAP数据集,提取不同情绪状态下的θ波段,采用传递熵的方法构建有向网络,分析不同情绪状态下的网络特征,研究各节点处的信息流向、强度及连接方式.

1 数据与方法

1.1 传递熵

给定两个系统xy,从yx的传递熵定义为系统y的信息对系统x不确定性大小的改变,即y传给x信息量的大小,因此传递熵可以作为衡量因果性的指标.从yx的传递熵表达式

1519

TEyx=xn+1,xn,ynp(xn+1,xn,yn)logp(xn+1,xn,yn)p(xn)p(xn,yn)p(xn+1,xn) (1)

上式中,xn表示系统x在时刻n的状态,yn表示系统y在时刻n的状态,xn+1表示信号x在时刻n+1的状态,pxn+1,xn,yn)表示过渡概率.传递熵在0≤TEy→x≤∞的范围内变

1520.传递熵是一个非对称度量,从yx的传递熵和从xy的传递熵不相等,即TEy→x≠TEx→y1520.

1.2 连接模式

在有向网络中,以3个节点组成的三角形为单元,根据不同的连接特征可以产生13个不同种类的连接模式.连接模式刻画了网络的局部结构,这些连接模式出现的频率和分布的情况被认为与网络中包含的功能信息密切相

21.每一类连接模式都可以用相应的模式编号来表22,刻画了网络中信息的基本处理模23,如图1所示.

图1 有向网络中存在的连接模式

Fig.1 Connection patterns in directed networks

1.3 节点度

节点度ki定义为网络中与节点i直接相连的边数,节点的度越大,则该节点的连接越多,节点在网络中的地位也就越重要.加权网络中的节点度与网络中连边的权重有关.在有向网络中,节点度又可以分为入度和出度,一个节点的入度定义为网络中其余节点指向该节点的度,出度定义为由该节点指向网络中其余节点的

24.

ki=jN,jiAij (2)

1.4 节点强度

节点强度是对加权有向网络的中心度度量,表示所有输入和输出边权重的总

25.某节点i的强度Si为与节点直接相连的所有边的权重和,其中wi,j)为节点ij的权重.此度量不仅取决于传入和传出边的数量,还取决于传入和传出边的权重.

Si=jw(i,j) (3)

1.5 全局效率

通常最短路径长度要在某一个连通网络中进行运算,如果网络中存在不连通的节点便会导致这两个节点间的最短路径长度值为无穷.因此有人提出了全局效率(global efficiency)Eglob的概

26.

Eglob=1N(N-1)i,jV,ij1lij (4)

全局效率度量网络的全局传输能力.全局效率越高,则网络节点间传递信息的速率就越

27.

1.6 平均流动系数

平均流动系数是基于最短路径对局部网络中心性的一种度量指标.对于连通网络中的每一对节点,节点之间至少存在一条最短路径,该路径通过中心节点.平均流动系数是经过中心节点的最短路径的数量除以所有可能路径的总数.其中,σst是从节点s到节点t的最短路径总数,σstv)是通过节点v的路径

28.

g(v)=1N(N+1)svtσst(v)σst (5)

2 实验数据及处理

本研究基于DEAP情绪数据库利用传递熵的方法构建有向网络,该数据库共有32个试验被试,每个被试进行40次训练,每次训练通过让被试观看不同的视频以激起其产生不同的情绪,训练的结果根据被试自身的感受进行评分,评分范围为1~9,并在唤醒度和效价两个维度进行评价,对于评分低于5的认为是低唤醒度(Low Arousal,LA)或者低效价(Low Valence,LV),对于评分高于5的认为是高唤醒度(High Arousal,HA)或者高效价(High Valence,HV),将所得到的数据以此标准进行分类,划分为不同的情绪状态,可以得到四大类情

29,分别为:HAHV(高唤醒度高效价)、HALV(高唤醒度低效价)、LAHV(低唤醒度高效价)、LALV(低唤醒度低效价).

基于DEAP数据库,利用传递熵的方法构建有向网络,具体分析流程如图2所示.首先对获取的情绪数据进行预处理,主要包括对EEG数据降低至256Hz进行采样,然后使用EEGlab提供的高通滤波器进行滤波,截止频率为2Hz.采用盲源分离技术去除眼动伪迹,将处理后的各通道数据利用快速傅里叶变化(FFT)进行波段划分,提取θ波段时间序列作为研究对象.基于传递熵理论,计算不同节点时间序列的传递熵用以构建有向网络.选择阈值进行二值化得到二值网络,对有向网络和二值网络采用复杂网络的分析方法进行特征提取.

图2 有向网络流程图的构建

Fig.2 Construction of directed network flow diagrams

3 结果分析

利用传递熵方法,分别对四类情绪的时间序列进行处理,得到有向功能网络,如图3所示.图中矩阵的每个元素表示传递熵的值,刻画了每个通道上信息流流量的大小,传递熵的值与信息流量的大小成正比.图3从左到右、从上到下依次对应着HAHV、HALV、LAHV、LALV四种情绪状态的有向网络.可以直观地看出,在不同的情绪状态下,脑区各节点信息流存在明显的差异.其中,在HALV情绪状态下,功能网络中各元素值更大,表明脑区各节点内的信息流更加活跃,大脑不同脑区之间信息交互更多,而在LALV状态下,矩阵中各元素值相对较小,表明各个脑区节点信息流入和流出量都相对较少,各脑区之间处于相对较不活跃状态.

图3 四类情绪状态下的有向网络

Fig.3 Directed networks in four kinds of emotional states

为了进一步比较不同情绪状态下脑区各节点信息流量的大小,计算不同状态下各节点的信息强度,结果如图4所示.其中,横坐标表示脑区各节点,纵坐标对应节点信息强度的大小,即信息流强度的大小.结果表明,处于HALV情绪状态时,脑区各节点信息流强度的值都普遍较高,而在LALV的情绪状态下,脑区各节点的信息流强度的值相对其它各种情绪状态的值较低.从图中可以看出,不同情绪状态下,脑区各节点信息强度明显不同,由强至弱依次对应着HALV、HAHV、LAHV、LALV状态,结果与图3分析结果相对应.

图4 不同情绪状态下各节点信息强度

Fig.4 Information intensity of each node in different emotional states

为了进一步研究不同情绪状态下各脑区信息流向及连接模式的特征,需要对有向网络进行二值化处理,选定[0.04~0.05]区间作为阈值的选择范围,分别计算在不同阈值情况下的全局效率和平均流动系数,结果如图5所示.全局效率随着阈值的增大呈现单调递减的趋势,平均流动系数随着阈值增大先增大后减小.为了保证不同情绪状态下有较高的全局效率和平均流动系数,本研究构建二值网络时选择阈值0.043.

(a) 全局效率

(a) Global efficiency

(b) 平均流动系数

(b) Average flow coefficient

图5 网络拓扑特征随阈值变化情况

Fig.5 Network topology characteristics changes with respect to

thresholds value

根据二值网络,首先分析节点度的变化规律,图6(a)给出了在HV状态下,HA与LA两种状态各脑区节点度的分布情况.可以看到,HA状态高节点度的概率更高,而且与LA状态下的节点度差值较大.图6(b)描述了LV状态下,分别对应HA与LA状态下各脑区节点度分布情况.结果表明,LA和HA状态下的节点度概率有明显差异.根据图6(a)图6(b),可以发现在同效价情况下,唤醒度越高,各节点的高节点度概率越大.但在同唤醒度情况下,效价的变化规律不同.高唤醒度时,低效价的高节点度概率更高;低唤醒度时,高效价的高节点度概率更高.结果进一步验证二维情绪状态中,唤醒度和效价并非相互独

9.

(a) HAHV与LAHV

(a) HAHV and LAHV

(b) HALV与LALV

(b) HALV and LALV

图6 不同情绪状态下节点度分布情况

Fig.6 Node degree distribution under different emotion states

分别计算四种不同情绪状态下的出度和入度,图7给出了各节点位置处出度与入度的差值,当差值大于0的时候,表明该节点出度大于入度,即信息流出量的权重较大,此时节点相当于一个信息输出源,当差值小于0时,该节点信息流入量权重较大,此时认为节点是一个接受器.从图7(a)可以看出,如虚线方框内对应的节点,在LAHV状态下信息流出较大,而图中如点划线方框内对应的节点,在LAHV状态下信息流入较大.表1给出了各节点与脑区的对应情况,结合这些节点所在脑区位置,发现在LAHV情况下,大脑信息流向主要由右颞叶及中央左侧流向中央右侧及右枕叶;在HAHV状态下,图中如虚线方框中对应的节点,显示其信息流出量较大,点划线方框所标记的节点信息流入量较大,表明在HAHV状态下,大脑信息流向主要是中央左侧流向中央右侧.同理,可以从图7(b)中得到,在LALV的状态下,信息流动主要集中在额叶和颞叶部分,在HALV的状态下,信息流主要由右半脑的颞叶流向左半脑的颞叶及中央右侧及顶叶.

(a) HAHV与LAHV

(a) HAHV and LAHV

(b) HALV与LALV

(b) HALV and LALV

图7 不同情绪状态出入度的差值

Fig.7 Differences between out-degree and in-degree in different emotion states

表1 脑区与节点对应关系
Table 1 Relationship between brain regions and node
Brain RegionsNode NameNode Number
Loubus Fromatis FP1、F3、AF3、FP2、F4、AF4 1、3、2、17、20、18
Central C4、FC2、CP2、C3、FC1、CP1 25、23、28、7、6、10
Left Temporal F7、T7、P7、FC5、CP5 4、8、12、5、9
Right Temporal F8、T8、P8、FC6、CP6 21、26、30、22、27
Parietal Lobe P3、P4、PZ 11、29、16
Occipital Lobe O1、O2、OZ、PO3、PO4 14、32、15、13、31

图8给出了在不同情绪状态下,全脑中各种连接模式的数量:在HALV情绪状态下,如图8中虚线框标记所示,12、13形式的连接模式的数量很高,表明大脑各节点的信息流存在更多互相交流的连接模式,各脑区之间联系更加紧密,彼此的交互影响更大;在LAHV情绪状态下时,如图中点划线标记,发现大脑中存在更多的如图1中1、3、5形式的连接,表明在这种情绪状态下,脑内信息流更倾向于由一些特定脑区节点发出信号去影响或者调控另一些脑区节点,此时信息流向更加明确;在LALV情绪状态下,如图中双点划线方框所示,大脑中的各种连接模式的数量都普遍偏少,表明各脑区之间信息交互也更少.

图8 不同情绪状态下各有向连接的数量

Fig.8 The number of directed connections in different emotional states

为确定四种情绪状态下,不同连接模式在各节点处的数量是否存在明显差异,将HAHV与HALV,LAHV与LALV的各种连接模式在全脑节点上的分布两两进行对比,分别对各种连接模式在不同情绪状态下的连接数量进行显著性分析.图9(a)图9(b)给出了不同连接模式在全脑节点的数量分布情况.从图中可以看到HAHV与HALV,LAHV与LALV状态的结果存在较大的差异,在HAHV情绪状态下,箱型整体值偏大,表明在HAHV状态下对应的各种连接模式都普遍大于HALV.同理,LAHV状态对应的各种连接模式都普遍大于LALV.对HAHV与HALV,LAHV与LALV用T-test方法做显著性差异(P<0.05)检验,具体结果见表2,带‘*’的表示两组数据有明显差异.由表2结果可以发现,在不同情绪状态下各连接模式的数量普遍存在明显差异,且该差异是由系统因素而不是受偶然因素影响产生的.

表 2 各连接模式t检验
Table 2 T test for each connection mode
HAHV - HALVPLAHV - LALVP
1 1.41E-06* 1 0.9022
2 4.35E-04* 2 4.26E-09*
3 2.15E-06* 3 0.7994
4 1.03E-09* 4 2.63E-09*
5 1.13E-06* 5 0.0056*
6 6.72E-07* 6 1.77E-11*
7 0.0782 7 0.6773
8 0.0038* 8 6.34E-07*
9 0.0118* 9 2.52E-11*
10 1.00E-07* 10 2.50E-11*
11 1.13E-04* 11 9.88E-10*
12 0.3495 12 1.21E-11*
13 1.74E-11* 13 1.10E-05*

(a) HAHV与HALV

(a) HAHV and HALV

(b) LAHV与LALV

(b) LAHV and LALV

图9 不同情绪状态下各连接模式的数量

Fig.9 The number of different connection modes in different emotion states

4 讨论

通过建立有向网络进行网络特征分析,发现脑区各节点的信息流的流向和强弱与情绪状态存在密切的联系,不同情绪状态有着显著的区别.

(1)在HALV状态,脑区各节点中流入流出的信息流相对于其它情绪状态更强,信息流主要由右半脑的颞叶流向左半脑的颞叶及中央右侧及顶叶,此时有向网络存在更多的互连接,使得大脑各脑区交流更紧密.

(2)在LAHV状态下,大脑中存在更多单向连接,使得脑内信息流更倾向于由某些节点单方向地流向脑区的另一些节点.

(3)在LALV状态下,大脑中的各种连接模式普遍偏少,信息交互更少.

本文结果进一步证明了情绪在唤醒度和效价两个维度上并非独立,而是存在着相互影响和联系.情绪在唤醒度和效价两者之间的关系仍需做进一步的研究,这些网络特征量可以作为机器学习的训练集,从而生成一个性能更优良的分类器,对不同情绪实现更加有效和高效的识别.

参 考 文 献

1

黄希庭.心理学导论.北京人民教育出版社1991507~540(Huang X T. Introduction to psychology. Beijing: Peoples Education Press, 1991:507~540(in Chinese)) [百度学术

2

陆启韶.神经动力学与力学.动力学与控制学报2020181):6~10 [百度学术

Lu Q S. Neurodynamics and mechanics. Journal of Dynamics and Control2020181):6~10(in Chinese) [百度学术

3

王如彬.神经动力学研究进展.动力学与控制学报2020181):1~5 [百度学术

Wang R B. Research advances in neurodynamics. Journal of Dynamics and Control2020181):1~5(in Chinese) [百度学术

4

Broek E L. Ubiquitous emotion-aware computing. Pers Ubiquit Comput20131753~67 [百度学术

5

Kessous LCastellano GCaridakis G. Multimodalemotion recognition in speech-based interaction using facial expression,body gesture and acoustic analysis.Journal on Multimodal User Interfaces2010333~48 [百度学术

6

Kim K HBang S WKim S R.Emotion recognition system using short-term monitoring of physiological signals. Medical and Biological Engineering and Computing200442419~427 [百度学术

7

Black M HChen N T MIyer K Ket al. Mechanisms offacial emotion recognition in autism spectrum disorders: Insights from eye tracking and electroencephalography. Neuroscience & Biobehavioral Reviews201780488~515 [百度学术

8

Posner JRussell J APeterson B S. The circumplex model of affffect: an integrative approach to affffective neuroscience,cognitive development,and psychopathology. Development & Psychopathology200517715~734 [百度学术

9

Robinson M DStorbeck JMeier B Pet al. Watch out! That could be dangerous:Valence-arousal interactions in evaluative processing.Personality and Social Psychology Bulletin20043011):1472~1484 [百度学术

10

Xing MTadayonnejad RMacnamara Aet al. EEG based functional connectivity reflects cognitive load during emotion regulation. IEEE,International Symposium on Biomedical Imaging. IEEE,2016771~774 [百度学术

11

曹锐武政相洁.基于同步似然的脑电分类方法研究. 太原理工大学学报2014454):510~514 [百度学术

Cao RWu ZXiang Jet al. The study of EEG classification method based on SL. Journal of Taiyuan University of Technology2014510~514(in Chinese) [百度学术

12

Gupta RFalk T H. Relevance vector classifier decision fusion and EEG graph-theoretic features forautomatic affective state characterization. Neurocomputing2016174875~884 [百度学术

13

Gallant S NDyson B J. Neural modulation of directed forgetting by valence and arousal: An event-related potential study. Brain Research20161648306~316 [百度学术

14

Vicente RWibral MLindner Met al. Transfer entropy-a model-free measure of effective connectivity for the neurosciences. Journal of Computational Neuroscience2011301):45~67 [百度学术

15

Schreiber T. Measuring information transfer. Physical Review Letters2000852):461 [百度学术

16

Chávez MMartinerie JQuyen M. Statistical assessment of nonlinear causality:application to epileptic EEG signals. Journal of Neuroscience Methods20031242):113~128 [百度学术

17

Gourévitch BEggermont J J. Evaluating information transfer between auditory cortical neurons. Journal of Neurophysiology2007973):2533~2543 [百度学术

18

Sabesan SNarayanan KPrasad Aet al. Information flow in coupled nonlinear systems:Application to the epileptic human brain.In:Pardalos P M,Boginski V L,Alkis V.(eds) Data mining in biomedicine. SpringerBerlin2007483~503 [百度学术

19

Wibral MVicente RLindner M. Transfer entropy in neuroscience.In:Wibral M,Vicente R,Lizier J T. (eds) Directed information measures in neuroscience.SpringerBerlin20143~36 [百度学术

20

Kaiser ASchreiber T. Information transfer in continuous processes. Physica D20021661):43~62 [百度学术

21

Milo RShen-Orr SItzkovitz Set al. Network motifs: simple building blocks of complex networks.Science20022985594):824~827 [百度学术

22

Sporns OKötter R. Motifs in brain networks. PLoS Biology2004211):e369 [百度学术

23

McDonnell M DNebil YSchmerl B Aet al. Motif-role-fifingerprints: the building-blocks of motifs,clustering-coeffificients and transitivities in directed networks.PloS One2014912):e114503 [百度学术

24

Newman M E. The structure and function of complex networks. SIAM Review2003452):167~256 [百度学术

25

Rubinov MSporns O. Complex network measures of brain connectivity:uses and interpretations. Neuroimage2010523):1059~1069 [百度学术

26

Latora VMarchiori M.Efficient behavior of small-world networks. Physical Review Letters20018719):1~5 [百度学术

27

Bullmore ESporns O. Complex brain networks:graph theoretical analysis of structural and functional systems. Nature Reviews Neuroscience2009103):186~198 [百度学术

28

Christopher JRolf KMichael Bet al. Network structure of cerebral cortex shapes functional connectivity on multiple time scales.Proceedings of the National Academy of Sciences of the United States of America200710424):10240~10245 [百度学术

29

Koelstra S. DEAP:A database for emotion analysis;using physiological signals. IEEE Transactions on Affective Computing201231):18~31 [百度学术

微信公众号二维码

手机版网站二维码