摘要
脑功能网络的信息流向能反映不同脑区之间的因果关系,通过研究不同情绪状态下脑区间的因果关系,不仅对揭示情绪产生的机理至关重要,而且可以对情绪的产生进行有效的分析、识别和监控.在人工智能领域,有效的情绪识别将直接影响人机交互过程.本研究使用DEAP情绪数据集,基于传递熵的方法构建有向功能网络,探讨了在不同情绪状态下信息流的流向及强弱变化规律,以及不同脑区间存在的信息传递相互影响模式.研究发现,不同的情绪状态下各脑区的信息流量强度不同,唤醒度越高,信息流强度越大.信息流向和脑区各节点局部连接方式也存在显著差异.同时,进一步证明唤醒度和效价两个情绪维度上存在相互依赖性.该研究为情绪识别提供了重要的参考指标和研究思路.
情绪是人类对外界客观事物的态度及其相应的行为反应,对于人类的心理健康和行为有着重要的影
目前,情绪研究主要依据:面部表情、语音特征、肢体动作和电生理信号
已有的研究主要通过构建无向功能网络来揭示脑区之间的功能差异,并以此作为依据来进行两个维度的情绪研究与识
给定两个系统x和y,从y到x的传递熵定义为系统y的信息对系统x不确定性大小的改变,即y传给x信息量的大小,因此传递熵可以作为衡量因果性的指标.从y到x的传递熵表达式
(1) |
上式中,xn表示系统x在时刻n的状态,yn表示系统y在时刻n的状态,xn+1表示信号x在时刻n+1的状态,p(xn+1,xn,yn)表示过渡概率.传递熵在0≤TEy→x≤∞的范围内变
在有向网络中,以3个节点组成的三角形为单元,根据不同的连接特征可以产生13个不同种类的连接模式.连接模式刻画了网络的局部结构,这些连接模式出现的频率和分布的情况被认为与网络中包含的功能信息密切相

图1 有向网络中存在的连接模式
Fig.1 Connection patterns in directed networks
节点度ki定义为网络中与节点i直接相连的边数,节点的度越大,则该节点的连接越多,节点在网络中的地位也就越重要.加权网络中的节点度与网络中连边的权重有关.在有向网络中,节点度又可以分为入度和出度,一个节点的入度定义为网络中其余节点指向该节点的度,出度定义为由该节点指向网络中其余节点的
(2) |
节点强度是对加权有向网络的中心度度量,表示所有输入和输出边权重的总
(3) |
通常最短路径长度要在某一个连通网络中进行运算,如果网络中存在不连通的节点便会导致这两个节点间的最短路径长度值为无穷.因此有人提出了全局效率(global efficiency)Eglob的概
(4) |
全局效率度量网络的全局传输能力.全局效率越高,则网络节点间传递信息的速率就越
本研究基于DEAP情绪数据库利用传递熵的方法构建有向网络,该数据库共有32个试验被试,每个被试进行40次训练,每次训练通过让被试观看不同的视频以激起其产生不同的情绪,训练的结果根据被试自身的感受进行评分,评分范围为1~9,并在唤醒度和效价两个维度进行评价,对于评分低于5的认为是低唤醒度(Low Arousal,LA)或者低效价(Low Valence,LV),对于评分高于5的认为是高唤醒度(High Arousal,HA)或者高效价(High Valence,HV),将所得到的数据以此标准进行分类,划分为不同的情绪状态,可以得到四大类情
基于DEAP数据库,利用传递熵的方法构建有向网络,具体分析流程如

图2 有向网络流程图的构建
Fig.2 Construction of directed network flow diagrams
利用传递熵方法,分别对四类情绪的时间序列进行处理,得到有向功能网络,如

图3 四类情绪状态下的有向网络
Fig.3 Directed networks in four kinds of emotional states
为了进一步比较不同情绪状态下脑区各节点信息流量的大小,计算不同状态下各节点的信息强度,结果如

图4 不同情绪状态下各节点信息强度
Fig.4 Information intensity of each node in different emotional states
为了进一步研究不同情绪状态下各脑区信息流向及连接模式的特征,需要对有向网络进行二值化处理,选定[0.04~0.05]区间作为阈值的选择范围,分别计算在不同阈值情况下的全局效率和平均流动系数,结果如

(a) 全局效率
(a) Global efficiency

(b) 平均流动系数
(b) Average flow coefficient
图5 网络拓扑特征随阈值变化情况
Fig.5 Network topology characteristics changes with respect to
thresholds value
根据二值网络,首先分析节点度的变化规律,

(a) HAHV与LAHV
(a) HAHV and LAHV

(b) HALV与LALV
(b) HALV and LALV
图6 不同情绪状态下节点度分布情况
Fig.6 Node degree distribution under different emotion states
分别计算四种不同情绪状态下的出度和入度,

(a) HAHV与LAHV
(a) HAHV and LAHV

(b) HALV与LALV
(b) HALV and LALV
图7 不同情绪状态出入度的差值
Fig.7 Differences between out-degree and in-degree in different emotion states

图8 不同情绪状态下各有向连接的数量
Fig.8 The number of directed connections in different emotional states
为确定四种情绪状态下,不同连接模式在各节点处的数量是否存在明显差异,将HAHV与HALV,LAHV与LALV的各种连接模式在全脑节点上的分布两两进行对比,分别对各种连接模式在不同情绪状态下的连接数量进行显著性分析.

(a) HAHV与HALV
(a) HAHV and HALV

(b) LAHV与LALV
(b) LAHV and LALV
图9 不同情绪状态下各连接模式的数量
Fig.9 The number of different connection modes in different emotion states
通过建立有向网络进行网络特征分析,发现脑区各节点的信息流的流向和强弱与情绪状态存在密切的联系,不同情绪状态有着显著的区别.
(1)在HALV状态,脑区各节点中流入流出的信息流相对于其它情绪状态更强,信息流主要由右半脑的颞叶流向左半脑的颞叶及中央右侧及顶叶,此时有向网络存在更多的互连接,使得大脑各脑区交流更紧密.
(2)在LAHV状态下,大脑中存在更多单向连接,使得脑内信息流更倾向于由某些节点单方向地流向脑区的另一些节点.
(3)在LALV状态下,大脑中的各种连接模式普遍偏少,信息交互更少.
本文结果进一步证明了情绪在唤醒度和效价两个维度上并非独立,而是存在着相互影响和联系.情绪在唤醒度和效价两者之间的关系仍需做进一步的研究,这些网络特征量可以作为机器学习的训练集,从而生成一个性能更优良的分类器,对不同情绪实现更加有效和高效的识别.
参 考 文 献
黄希庭.心理学导论.北京:人民教育出版社,1991:507~540(Huang X T. Introduction to psychology. Beijing: Peoples Education Press, 1991:507~540(in Chinese)) [百度学术]
陆启韶.神经动力学与力学.动力学与控制学报,2020,18 (1):6~10 [百度学术]
Lu Q S. Neurodynamics and mechanics. Journal of Dynamics and Control, 2020,18(1):6~10(in Chinese) [百度学术]
王如彬.神经动力学研究进展.动力学与控制学报, 2020, 18(1):1~5 [百度学术]
Wang R B. Research advances in neurodynamics. Journal of Dynamics and Control, 2020,18(1):1~5(in Chinese) [百度学术]
Broek E L. Ubiquitous emotion-aware computing. Pers Ubiquit Comput,2013,17:53~67 [百度学术]
Kessous L,Castellano G,Caridakis G. Multimodalemotion recognition in speech-based interaction using facial expression,body gesture and acoustic analysis.Journal on Multimodal User Interfaces,2010,3: 33~48 [百度学术]
Kim K H,Bang S W,Kim S R.Emotion recognition system using short-term monitoring of physiological signals. Medical and Biological Engineering and Computing, 2004, 42:419~427 [百度学术]
Black M H,Chen N T M,Iyer K K,et al. Mechanisms offacial emotion recognition in autism spectrum disorders: Insights from eye tracking and electroencephalography. Neuroscience & Biobehavioral Reviews, 2017,80: 488~515 [百度学术]
Posner J,Russell J A,Peterson B S. The circumplex model of affffect: an integrative approach to affffective neuroscience,cognitive development,and psychopathology. Development & Psychopathology,2005,17:715~734 [百度学术]
Robinson M D,Storbeck J,Meier B P,et al. Watch out! That could be dangerous:Valence-arousal interactions in evaluative processing.Personality and Social Psychology Bulletin,2004,30(11):1472~1484 [百度学术]
Xing M,Tadayonnejad R,Macnamara A,et al. EEG based functional connectivity reflects cognitive load during emotion regulation. IEEE,International Symposium on Biomedical Imaging. IEEE,2016,771~774 [百度学术]
曹锐,武政,相洁,等.基于同步似然的脑电分类方法研究. 太原理工大学学报,2014,45(4):510~514 [百度学术]
Cao R,Wu Z, Xiang J,et al. The study of EEG classification method based on SL. Journal of Taiyuan University of Technology, 2014,510~514(in Chinese) [百度学术]
Gupta R, Falk T H. Relevance vector classifier decision fusion and EEG graph-theoretic features forautomatic affective state characterization. Neurocomputing,2016,174: 875~884 [百度学术]
Gallant S N, Dyson B J. Neural modulation of directed forgetting by valence and arousal: An event-related potential study. Brain Research,2016,1648:306~316 [百度学术]
Vicente R,Wibral M,Lindner M,et al. Transfer entropy-a model-free measure of effective connectivity for the neurosciences. Journal of Computational Neuroscience, 2011,30(1):45~67 [百度学术]
Schreiber T. Measuring information transfer. Physical Review Letters, 2000, 85(2):461 [百度学术]
Chávez M,Martinerie J,Quyen M. Statistical assessment of nonlinear causality:application to epileptic EEG signals. Journal of Neuroscience Methods,2003,124(2):113~128 [百度学术]
Gourévitch B,Eggermont J J. Evaluating information transfer between auditory cortical neurons. Journal of Neurophysiology,2007,97(3):2533~2543 [百度学术]
Sabesan S,Narayanan K,Prasad A,et al. Information flow in coupled nonlinear systems:Application to the epileptic human brain.In:Pardalos P M,Boginski V L,Alkis V.(eds) Data mining in biomedicine. Springer,Berlin,2007:483~503 [百度学术]
Wibral M,Vicente R,Lindner M. Transfer entropy in neuroscience.In:Wibral M,Vicente R,Lizier J T. (eds) Directed information measures in neuroscience.Springer, Berlin,2014:3~36 [百度学术]
Kaiser A,Schreiber T. Information transfer in continuous processes. Physica D,2002,166(1):43~62 [百度学术]
Milo R,Shen-Orr S,Itzkovitz S,et al. Network motifs: simple building blocks of complex networks.Science, 2002, 298(5594):824~827 [百度学术]
Sporns O,Kötter R. Motifs in brain networks. PLoS Biology, 2004, 2(11):e369 [百度学术]
McDonnell M D,Nebil Y,Schmerl B A,et al. Motif-role-fifingerprints: the building-blocks of motifs,clustering-coeffificients and transitivities in directed networks.PloS One,2014,9(12):e114503 [百度学术]
Newman M E. The structure and function of complex networks. SIAM Review,2003,45(2):167~256 [百度学术]
Rubinov M,Sporns O. Complex network measures of brain connectivity:uses and interpretations. Neuroimage,2010, 52(3):1059~1069 [百度学术]
Latora V,Marchiori M.Efficient behavior of small-world networks. Physical Review Letters, 2001,87(19):1~5 [百度学术]
Bullmore E,Sporns O. Complex brain networks:graph theoretical analysis of structural and functional systems. Nature Reviews Neuroscience,2009,10(3):186~198 [百度学术]
Christopher J,Rolf K,Michael B,et al. Network structure of cerebral cortex shapes functional connectivity on multiple time scales.Proceedings of the National Academy of Sciences of the United States of America,2007,104(24):10240~10245 [百度学术]
Koelstra S. DEAP:A database for emotion analysis;using physiological signals. IEEE Transactions on Affective Computing,2012,3(1):18~31 [百度学术]