基于基底神经节机理的行为决策模型

宋健，刘深泉，臧杰; Song Jian; Liu Shenquan; Zang Jie

网刊加载中。。。

使用Chrome浏览器效果最佳，继续浏览，你可能不会看到最佳的展示效果，

确定继续浏览么?

复制成功，请在其他浏览器进行阅读

目录contents

摘要

基底神经节是大脑深部一系列神经功能核团的总称，主要与周围的大脑皮层、丘脑、小脑和脑干相连.基底神经节的主要功能是参与运动调节和随意运动控制，特别是行为的决策确定和动作选择.本文主要介绍基于基底神经节机理的行为决策确定模型，重点综述决策确定和动作选择的理论模型进展.首先介绍了基底神经节的解剖结构，即输入核、输出核、多巴胺系统和中继核，进而描述了基底神经节的功能连接（直接通路、间接通路和超直接通路），然后基于基底神经节的多个皮质-BG回路之间的相互作用，概述了决策模型在运动和行为选择等方面的理论模型，主要有Gurney的选择-控制模型、Humphries的神经元群模型、Frank的认知决策模型、Wang的选择决策模型和Rabinovich相空间动力学选择模型等.最后讨论了这些理论决策模型和大脑疾病（帕金森病）的相互关系等.

关键词

基底神经节; 神经回路; 决策确定; 行为选择; 动力学模型; 帕金森病

引言

基底神经节（Basal ganglia，BG）是指在结构和功能上相互连接的皮质下结构的集合.在过去的三十年里，由于解剖学，电生理学和计算机科学的不断发展，大量的BG计算模型源源不断地被开发出来.研究的不断深入促使我们对BG的结构和功能产生新的认识的同时，也暴露了BG的定性模型在解释当前数据和预测未来实验结果方面的不足.行为决策模型是对BG更为系统的建模.

行为决策是解决竞争性行为选择之间的冲突，或者更简单地说，是解决动物和人工智能体所面临的一个普遍问题，即下一步要做什么.为识别用于行为决策的神经底物和解决这样的一个问题，一方面，需要理解行为生物学基础（行为学、神经生物学和心理学）和构建人工智能体的相关知识.另一方面，需要对BG建立一个计算模型，综合BG的连接结构、电生理和生物化学等方面的相关数据，在全局角度对BG进行相对精确的模拟.因此，我们急需一个连贯的理论框架，将这些数据等信息汇总到一个综合的环境中.把生物神经与数学建模相结合就提供了一个很好的研究方法.而最近几十年里，对行为决策建模的主流思路有两个，一个是解除所需行为动作的抑制，同时保持或增加不希望行为动作的抑制；另一个是解决大脑中行为表达上存在竞争的功能单元之间的冲突.而在建模结构上，受生物解剖结构的启发，可分为两类模型：一类是解剖学和生物学上较为详细的模型，其中包括对神经元和突触内的生物物理过程（例如离子通道）的精确描述；另一类是不太详细的模型，这类模型试图用更简单和紧凑的方程来描述神经元的动态过程和突触学习，但仍然受到神经生物学结构的限制^［

1，2］.后一类模型的优势在于，它们可以模拟行为方面，且模型较为简单，易于计算机的模拟，有助于理解整个大脑区域执行决策的本质.

本综述对行为决策模型的介绍将从以下几方面进行组织.首先，我们将介绍行为决策模型的相关生物背景，在这一部分，本综述只会对与行为决策模型较为相关的BG解剖结构和功能团块，以及BG的功能连接和神经回路进行总体概述.在这里主要是类比人工神经网络的结构，将功能团块分为四类：输入核、输出核、多巴胺系统和中继核，再详细描述BG的直接通路、间接通路和超直接通路，这也是多数模型结构启发的来源.其次，我们再来介绍行为决策模型.在这里首先引入在行为决策模型中常用的竞争学习机制：Winner-takes-all竞争学习规则和Adaptive Resonance竞争学习神经网络，而决策模型主要包括Gurney的选择-控制模型、Humphries的神经元群模型、Frank的认知决策模型、Wang的选择决策模型和Rabinovich相空间动力学选择模型.最后介绍小脑和脑干在皮质-BG环路行为决策过程中所起到的作用，以及行为决策在帕金森病的研究过程中的应用.

1 基底神经节解剖结构和功能团块

1.1　基底神经节的解剖结构

BG是脊椎动物大脑中一组起源不同的皮质下核，位于前脑底部和中脑顶部.BG的组成结构从功能上的定义主要可以分为纹状体（Striatum，STR）、苍白球（Globus pallidus，GP）、黑质（Substantia nigra，SN）、底丘脑核（Subthalamic nucleus，STN）和腹侧被盖区（Ventral tegmental area，VTA）.GP分为苍白球内段（Internal segment of globus pallidus，GPi）和苍白球外段（External segment of globus pallidus，GPe）.SN分为黑质致密部（Substantia nigra pars compacta，SNc）、黑质网状部（Substantia nigra pars recitulata，SNr）和黑质外侧部（Substantia nigra pars lateralis，SNL）.每个组成结构都有一个复杂的内部解剖结构和神经化学组织，在BG中起到信息传递的作用，BG的整体解剖结构如图1所示.

图1 BG运动功能解剖结构

Fig.1 Anatomical structure of motor function of BG

BG与大脑皮层、丘脑、脑干以及其他几个脑区紧密相连，且涉及多种重要功能，包括控制自主运动、行为选择、顺序学习、强化学习、工作记忆和认知等.在过去的几十年中，虽然关于细胞水平连接模式的某些问题仍在研究中，但关于BG的解剖学并没有太多争议，更困难的问题是针对BG运动功能相关问题的研究，这也是本综述想要说明的一个主题，即基于BG机理的行为决策模型.

1.2　基底神经节的功能团块

对BG的功能团块的介绍本综述主要分为四个部分来展开：输入核、中继核、多巴胺能系统和输出核.BG接收来自大脑皮层大部分感觉运动区域的输入，然后投射到丘脑，再投射回对应的大脑皮层运动区域.BG的主要输入结构为STR和STN，STR是皮层向BG输入信号的主要靶点.STR接收信号的输入主要有三个来源：①大脑皮层的大部分区域（运动皮层、辅助运动皮层和体感皮层）；②丘脑的多核；③中脑多巴胺能细胞（SNc和VTA）.STR从前两个结构接收大量和局部的谷氨酸能（兴奋性）输入，从第三个结构接收多巴胺能细胞投射.BG的第二个主要输入结构是STN^［

3］，它接收来自额叶皮质和皮质躯体运动区域的谷氨酸能投射^{［参考文献 4

百度学术}4］.GPe在BG中主要建立了STR与STN以及其他核团与输出核的相互联系，起到中继的作用.SNc构成了BG的多巴胺能系统，起到强化信号的作用.GPi和SNr的复合体（GPi-SNr）是BG的主要输出端，他们接收STR、GPe和STN的信号输入，再将信号处理后传递给丘脑，再由丘脑把信号送回到大脑皮层的相关区域，完成信号的一次循环.下面就对BG的传入和传出结构详细说明，以启发对BG各核之间相互连接和相互作用的数学模型的建立.

1.2.1　BG的输入核(STR和STN)

STR主要由中型多棘神经元（Medium spiny neurons，MSNs）组成.其中投射神经元占STR神经元的绝大多数，主要接收大脑皮层的投射.MSNs使用GABA作为主要递质并投射到GP的两个部分和SNr^［

3］，该递质通常被认为是一种抑制性神经递.STR投射到SN的MSNs表达D1型多巴胺能受体（D1和D5），而STR投射到GP的MSNs表达D2型（D2、D3和D4）.当由D1型介导时，多巴胺能传递主要是兴奋性的，由D2型介导时，主要发挥抑制作用.这种二分法导致了间接通路抑制运动和直接通路促进运动的经典概念^{［参考文献 5

百度学术}5］（在2.1节将详细介绍）.

BG的第二个输入结构STN在正常和病理条件下的BG活动中起主要作用^［

6］.STN主要由投射神经元组成，STN谷氨酸能投射神经元投射到GP的两个部分（GPi和GPe）和SNr.在20世纪80年代早期，STN被认为是BG环路中一个闭合辅助回路（即在2.1节中提到的间接通路）的一部分，包括苍白球外段（GPe）^{［参考文献 7

百度学术}7］.因此，STN也被认为作为间接通路的中继核.此外，STN被强调为帕金森病（Parkinson’s disease，PD）立体定向手术的目标结构.

1.2.2　BG的中继核(GPe)

GPe中观察到的绝大多数神经元是大型投射神经元.传统上，GPe被认为是BG内的中继核，接收STR的输入并投射到STN.与STR一样，GP投射神经元的主要递质是GABA^［

8］.GPe是一个抑制性核团，该核团通过间接通路从表达D2型受体的MSNs中接收GABA投射，再投射到STN、GPi和SNr的神经元.因此，GPe与BG的输入结构（STN和STR）相互连接.除传统的连接之外，GPe还接收STN的反馈投射，并对STR进行反馈投射，而且GPe与输出核（GPi-SNr）也有信息上的交流.此外，GPe直接投射到SNr，其投射与GPi神经元的细胞体形成密集的GABA突触接触.因此，在本综述中，我们将强调GPe作为BG内在通路的一部分的作用.

1.2.3　BG的多巴胺能系统(SNc)

SNc是STR-SN通路的一部分，是中脑多巴胺能细胞簇之一，SNc包含大的多巴胺细胞，为STR提供多巴胺能输入，是BG多巴胺能系统的重要组成部分.SNc多巴胺能神经元显示不同类型的放电活动.除这些核外，SNc和SNr中的神经元间也调节SNc中的神经放电模式.SNc的多巴胺能投射针对包括STR（背侧）、GPe和STN在内的大脑多个区域，特别是在GPe和STN中调节放电模式.如前所述，多巴胺受体主要位于D1型或D2型.但最近在STR、海马体和皮质中发现了表达D1/D2受体（异质体）的神经元.尽管多种机制对SNc神经元的死亡原因进行了讨论，但在认知和运动领域的PD患者中研究了SNc的多种异常，表明SNc神经元的死亡是引起PD症状的主要原因.

1.2.4　BG的输出结构(GPi和SNr)

GPi是BG最常见的输出端口，它接收来自表达D1的STR的MSNs和GPe的抑制性GABA输入，以及来自STN的兴奋性谷氨酸输入.GPi整合这些输入和反馈作用的最终选择，所以被称为BG的输出站.GPi神经元的大多数解剖、生理和生化特征与GPe相似.GP神经元运用解除抑制原理工作.由于GP神经元本身对其目标具有抑制作用，因此，STR输入GP的净作用是减少GP细胞对其目标的强直抑制（解除抑制），增加目标的放电率.

SNr是SN系统腹外侧部分的一个核，SNr通过抑制性GABA投射，从表达GPe、STR-MSNs、STN和SNc的多巴胺能细胞、上丘、丘脑腹侧部分和SNc接收输入.在系统层面上，由于其对上丘的投射，SNr主要参与眼动.然而，由于SNr功能的一般相似性，我们将把GPi-SNr视为BG的单一输出阶段.

1.3　BG的功能连接和神经回路

上一节中我们已经分别介绍了BG的主要组成结构的相关生理学背景，而各功能团块之间又由包含多种谷氨酸能和GABA神经束所连接.使它们之间可以发生相当复杂的相互作用，并产生信息的传递，BG的功能解剖见图2.下面我们就将从整体的系统层面对BG通路展开介绍.

图2 BG功能解剖结构

Fig.2 Functional anatomy of BG

在30年前发表的两个关联理论 ^［

9，10］提出了第一个想法：BG控制皮质的兴奋和抑制.因此，需要两条不同的途径：直接通路（Direct pathway）和间接通路（Indirect pathway）.直接通路（皮质→STR→GPe-SNr）被认为是促进运动皮层活动的途径，而间接通路（皮质→STR→GPe→STN→GPi-SNr）被认为是抑制运动皮质活动的途径.这些概念被后续的研究者们合称为Albin-DeLong模型，该模型是最早的BG现代模型之一.该模型建立的基础就在于STR上D1型和D2型受体的分化作用，而它建立的目的是研究PD的运动功能减退的临床表现.显著的BG运动障碍主要有：兴奋性直接通路的过度活动被认为会导致运动活动过度（如亨廷顿病（Huntington's disease，HD）），而抑制性间接通路的过度活动被认为会导致病理性活动抑制（如PD）.在后续的研究中，Smith等人^{［参考文献 6

百度学术}6］提出一种较短的间接通路（皮质→STR→GPe→GPi），以及Nambu等人提出了一种额外的超直接通路（Hyper-direct pathway）：皮质→STN→GPi-SNr.Alexander等人^{［参考文献 11

百度学术}11］提出了并行环路的概念，DeLong^{［参考文献 12

百度学术}12］进一步发展了该概念.如果所有这些通路都能被识别以实现不同的功能，那么BG解剖的复杂性就可以被理解为保证BG运动功能的必要条件.下面就将更为具体地介绍BG的直接通路、间接通路、超直接通路和并行回路.

1.3.1　皮质-STR到GPe-SNr的通路：直接通路和间接通路

在BG的皮质-STR-GP通路中，从大脑皮层传递的信号在STR处产生分支，形成两个截然不同的并行通道.因为它们对靶核，即对丘脑的影响以及传递信号的途径的不同，故而这些投射路径被称为直接通路和间接通路.在直接通路中，STR-MSNs将信号直接投射到输出核（GPi-SNr），并选择性表达D1型受体^［

5］，进而形成对GPi神经元的抑制性投射，即STR神经元的激活抑制了GPi中的神经元，然后GPi抑制丘脑核.一般把STN当作连接GPe和GPi的间接通路内的关键中继站.然而，最近的证据表明：①GPe神经元向GPi发送直接抑制性投射，而不是必须通过STN间接施加其控制；②这些GPe到GPi的投射更集中，允许抑制特定的反应，而从STN到GPi投射的反应是广泛且扩散的，可能提供更多的全局调节功能^{［参考文献 13

百度学术}13］.于是导致间接通路分化为长间接通路和短间接通路.即STR-MSNs将信号往下一个结构传递，在到达BG的输出核（GPi-SNr）之前投射到GPe，并选择性表达D2型受体，之后根据投射过程是否通过STN，又分为长间接通路（经过STN）和短间接通路（不经过STN）^{［参考文献 13

百度学术}13］.总而言之，这种直接通路来自含P物质的GABA的STR神经元，单合性地投射到GPi-SNr上，而间接通路来源于含脑啡肽的GABA的STR神经元，并通过一系列涉及GPe和STN的连接，多合性地投射到GPi-SNr.

与直接通路中GPi神经元的抑制投射作用相反，间接通路是通过对GPe的抑制投射而形成的，间接通路的活跃度倾向于增加GPi细胞的活跃度，因此，D2受体被激活时，间接通路也被激活，从而解除GPe对STN的抑制.可以把直接通路更形象地比作一个常闭的控制运动的“门”.这个门是由STR的活动打开，抑制GP的输出，允许出现运动，而间接通路是通过解除STN的抑制，关闭了“门”.这种分离式的定义BG信号传输的通路，导致间接通路抑制运动和直接通路促进运动的经典概念，而且这些通路可能参与调节运动参数^［

14］.请注意，上述对BG通路的描述，两种通路的输入端和输出端均相同，但是起到至关重要的中继作用的分别是STN和GPe^{［参考文献 10

百度学术}10］.

早期非计算模型（Albin-Delong模型）（图3（a））以及最近的BG路径计算模型提出，直接通路非特定地促进运动活动.事实上，已经证实，刺激直接通路的STR的MSNs会增加小鼠的运动.而Mink提出，直接通路专门促进所需的反应（而不是运动本身）这与上述研究者提出的假设恰恰是矛盾的.但是这也不妨碍其他研究者对直接通路的相关建模，他们大多遵循Mink的建议.Schroll等人^［

15］也对Mink的假设有所支持，他们认为似乎确实存在直接通路的不同通道可能同时促进不同类型的表现.Brown等人^{［参考文献 16

百度学术}16］认为，短间接通路将特定被选中的反应的执行推迟到适当的时候.这一假设认为响应延迟是短间接通路的内在功能，但需要从预期奖励的缺失中学习.

(a) 早期的Albin-DeLong网络

(a) early Albin-DeLong network

(b) 最新的网络(包含超直接通路)

(b) the latest network (including hyper-direct pathway)

图3 皮质-BG盒箭网络

Fig.3 Cortex-BG box-arrow network

1.3.2　皮质经STN到GP的通路：超直接通路

已有研究表明STN应该作为第三个超直接通路的一部分，而不仅仅是间接通路中的一个中继站.皮质-STN-GP通路从运动相关皮质区向GP传递兴奋效应，绕过STR，传导时间比通过直接和间接通路传递的效应短.基于这些发现，Nambu等人^［

4］建议将这种皮质-STN-GP通道称为BG的超直接通路（Hyper-direct pathway），最新的网络连接结构见图3（b）.STN接收来自大脑皮层的输入，然后通过STN将输出投射到GPi-SNr.事实上，STN接收来自额叶皮质的直接兴奋性输入，并将弥漫性兴奋投射给GPi^{［参考文献 6

百度学术}6］，它对许多GPi神经元的弥漫性兴奋作用是阻止所有的反应，所以STN的作用是全局性的.许多研究者认为在特定情况下，即当皮质的选择特别困难时，或在皮质存在高度冲突的信号条件时，由STN执行的超直接通路会阻止BG的任何决策，类似于一个刹车制动装置.有关这一点Gillies等人^{［参考文献 17

百度学术}17］从生理学和解剖学的角度出发，建立了STN的复合模型，该模型显示，高度互联的STN在大范围内可以对兴奋性输入作出广泛的均匀脉冲响应.这种广泛的脉冲活动可作为一个制动信号，重置主要的BG输出核.也正如Frank^{［参考文献 18

百度学术}18］研究指出，在强烈的皮质冲突条件下，模拟强调了超直接通路通过STN所起的关键作用.Nambu等人^{［参考文献 6

百度学术}6］提出通过超直接通路传递的信号首先抑制丘脑的大面积区域.虽然Baston等人^{［参考文献 19

百度学术}19］的描述类似文献［13］中使用的模拟，但他们当前的模拟对于理解该机制的实际工作方式具有指导意义.基于上述STN在解决皮质信号冲突的研究和其对GPi的快速且相对全局性的影响，超直接通路被提出用于在响应选择完成之前在全局范围内预防过早响应^{［参考文献 18

百度学术}18，20］，这也恰恰说明超直接通路在解决广泛反应冲突情况的重要性^{［参考文献 21

百度学术}21］.Henning等人^{［参考文献 14

百度学术}14］还提出超直接通路被假设在运动执行之前停止已准备好的响应.所以，根据背景事件的需要，超直接通路可以在这两种功能（预防过早响应和在运动执行之前停止已准备好的响应）之间灵活切换^{［参考文献 22

百度学术}22，23］.

在文献［

6］中，Nambu等人通过对超直接通路的描述与分析，进一步提出一个动态的中心-周围模型（见图4），用于控制自主性肢体运动.因此，在自主性肢体运动中，增加的GP活跃度很可能是由净兴奋、更快的超直接通路介导的，而减少的GP活跃度则是由净抑制、较慢的直接通路介导的.这可以解释为GP神经元活跃度增加可能代表着周围区域所选择的运动项目，而GP神经元活跃度减少可能代表着中心区域所选择的运动项目，其数量应远小于周围地区.这种情况也很符合他们所提出的动态中心-周围假设.这种假设超直接通路在反应过程中建立对不想要的运动过程的周围抑制^{［参考文献 24

百度学术}24］的假说有两个版本：根据第一种说法，超直接通路仅抑制那些与所需反应竞争执行的反应，而不是通过直接通路促进的所需反应本身^{［参考文献 15

百度学术}15］.根据第二种版本，超直接通路在全局范围内抑制所有运动过程，包括所需的运动过程，其区别仅在于其通过直接通路的额外激活所需要的运动程序^{［参考文献 25

百度学术}25］.换句话说，超直接通路要么只抑制竞争性的运动过程，不影响中心，要么也抑制中心促进的运动过程.

图4 动态的中心-周围模型

Fig.4 Dynamic Center-Surround model

1.3.3　运动区、联想区和边缘区的并行回路

除以上提到的大脑皮层-BG连接的直接、间接和超直接通路以外，通过解剖学的进一步研究，很多研究者发现皮质-BG系统确实由多个并行且分离的回路组成，其中皮质区域投射到BG的不同区域，并行通路之间的相互作用最小且大多不重叠^［

12］.这些研究者认为存在贯穿整个BG核的并行解剖环路，此外，还可以进一步区分为宏观通道和微观通道.宏观通道是由并行运行的闭合的发送和反馈回路形成的，每个回路源自一个确定的皮质区域，通过BG，并通过丘脑返回到原始皮质区域.微观通道是在宏观通道中运行的离散并行循环，即不同的STR运动区对应着不同的躯体结构.早期的电生理研究也支持并推动着BG分离并行组织的概念.根据Alexander等人^{［参考文献 26

百度学术}26］的分类，这些回路包括：①骨骼运动回路；②动眼神经回路；③联想回路和④边缘回路.具体的连接方式见图5（a）.Joel等人^{［参考文献 27

百度学术}27］又根据整个皮质区域的发送和反馈回路，将BG固有环路划分为三个并行区域，然后将STR粗略细分为运动区、联想区和边缘区（见图5（b））.由于这些通道是按结构组织的，因此在整个BG回路中保持了回路的隔离.在此连接机制的基础之上，研究探索选择机制，进而解决在特定环境下对可用且可选择的动作之间的竞争问题.

(a) 骨骼运动回路、动眼神经回路、联想回路和边缘回路

(a) skeletal motor circuit, oculomotor nerve circuit, associative circuit, limbic circuit.

(b) 运动区、联想区和边缘区结构组织图

(b) the structural organization of the motor, associative and limbic circuits.

图5 BG分离并行组织回路

Fig.5 BG Separated Parallel Organizational Loop

1.3.4　直接、间接和超直接通路之间的关系

迄今为止，在皮质刺激和运动任务执行过程中观察到的GPe和GPi的神经元活动非常相似^［

3］.这些神经元的行为就好像它们只受超直接通路和直接通路的控制.于是Parent和Hazrati提出了一个关于间接通路是否有必要存在的问题.为回答这些问题，必须更明确地描述超直接通路、直接通路和间接通路在行为任务执行期间对GP神经元活动的影响和它们之间的相互关系.

Nambu等人对运动皮层进行电刺激，从而导致皮质刺激在GPe和SNr中诱发了三个阶段的反应，即早期、短潜伏的兴奋，随后是抑制，接下来是晚期的兴奋^［

3］.因此，皮质刺激对GP神经元的抑制作用被认为是由直接通路参与控制的.另一方面，大脑皮层刺激引起的GP神经元迟发性兴奋的起源是不明确的，这可以归因于净兴奋性间接通路.而早期兴奋，可能是由超直接通路参与控制的.所以，当一个自主性运动即将由皮质机制启动时，通过超直接通路传递的一个信号首先会抑制丘脑和大脑皮层的大片区域，然后，通过直接通路的另一个信号抑制其目标并仅释放选定的运动程序.最后，第三个可能通过间接通路的信号广泛抑制其靶点.通过这种顺序信息处理，只有选定的运动程序在选定的时间被启动、执行和终止，而其他竞争程序则被取消.

另一方面，BG核的化学阻断以及在STN和GPe中的并行记录表明，快速激发是由超直接通路、直接通路的短抑制和长间接通路的迟激发引起的，而且超直接通路的异常快速反应与STN神经元的独特特性有关.而且在STN永久性损伤或阻断来自前额皮质的皮质-STN神经传递后，早期的兴奋消失.由此他们提出超直接通路最快，直接通路较慢，通过间接通路传递的信息最慢^［

3］.Nambu提出假设，BG可能为运动响应提供起始和终止信号，根据这一假设，皮质向不同的BG通路发送一系列的信号，分别确保过早响应（超直接通路），响应开始（直接通路）和响应终止（间接通路），即大脑皮层的输入信号决定了响应的时间，然而，他们没有建立计算模型^{［参考文献 28

百度学术}28］.

在BG通路建模计算方面，BG纤维束被细分为直接通路、间接通路和超直接通路，而且BG被提议由一个选择路径以及一个控制路径组成.其中选择路径包含本综述中所称的直接和超直接通路；控制路径包含了本文所称的间接通路^［

24，25，29］.更具体地说，控制通路被认为是由完整的短间接通路、通向STN的长间接通路和一条从皮质经STN到达GPe的超直接通路组成.Gurney等人^{［参考文献 24

百度学术}24，29］认为，控制通路本身没有可分离的功能，而是在选择响应时，选择支持间接通路或者支持超直接通路.

已建立的模型中的大多数假设了不同路径之间的清晰解剖分离.虽然这可能是一个简单的解释^［

30］，但生理数据证实了功能上分离通路的假设：皮层电刺激导致GPi中三个不同的活动在时间上的变化，这可以分别追溯到直接通路、间接通路和超直接通路的影响^{［参考文献 31

百度学术}31］.即使通路不是由不同的神经元组成的，然而，它们似乎在功能上是分离的.我们在建立模型时应考虑通过直接通路、间接通路和超直接通路传输的信号差异.皮质-STN神经元和皮质-STR神经元属于不同的神经元群体.因此STN接收并显示与运动直接相关的活动.相比之下，皮质-STR神经元表现出背景事件依赖性或奖赏偶然性活动.因此，通过皮质-STN-GP的超直接通路的信号可以广泛抑制运动程序，然后通过直接通路的信号可以根据情况调整选定的运动程序.我们对BG解剖学通路的相关知识的思考是相当多的，但决不是完整的.随着BG研究领域的发展，不仅要对BG的解剖投射形成更完整的图像，而且要了解这些投射的功能，这一点至关重要.因为对BG内部的功能通路的更好理解，将有助于研究人员更全面地探索BG各个结构之间的相互关系，也将启发研究者对BG功能的深入探索与开发.

2 行为决策模型

2.1　行为决策模型的竞争学习机制

一直以来，BG的研究者们都认为BG是大脑处理行为决策问题的主要核团，那我们不禁要问，BG的行为决策的选择机制又是什么呢？第1.3节中，我们已经介绍了BG通路的相关概念，从通路的角度考虑，间接通路对GPe形成抑制性投射，从而解除GPe对STN的抑制，进而增加GPi细胞的活跃度；直接通路与之相反，是对输出核增加抑制.在此基础之上多数研究者建立了间接通路抑制运动，直接通路促进运动，这种行为决策的选择机制进一步发展为直接通路用于选择，而间接通路用于控制（具体模型见第2.2.2节，Gurney等人的模型）.这种行为决策的选择机制也类似于中心-周围假设模型，即中心-促进；周围-抑制，该假设模型可参考1.3.2节或文献［

32］.

从另外一个角度，即根据选择机制是核内选择还是核间选择，模型也分为两大类.核内选择是通过核内神经元之间的横向（或反复）抑制来实现的；而核间选择则是通过不同通路之间的前馈竞争来实现.无论是那种选择机制，它都是以递归神经网络（Recurrent Neural Networks，RNN）为基础的.一些模型集成了两种选择机制，以实现增强的选择过程.为此我们就不得不提到自组织竞争神经网络，下面主要介绍两种竞争学习规则.

2.1.1　Winner-takes-all竞争学习规则

核内行为选择模型主要是利用STR中MSNs之间的GABA连接的原理.在这些模型中的行为选择方法的构成基础主要是采用Winner-takes-all（WTA），它使用神经网络收敛到一个单一的Winner.WTA学习规则是一种竞争关系的学习规则，用于无监督学习，一般会在网络结构中确定一个竞争层.该竞争学习规则主要分为三个步骤：

①向量归一化.首先将自组织网络中的当前输入模式向量X和竞争层中各神经元对应的权重向量W_j全部进行归一化处理，处理后分别记为 $\dot{X}$ 和 $\dot{W}$ _j.

②寻找Winner神经元.得到归一化的输入模式向量 $\dot{X}$ 后，竞争层的所有n个神经元对应的权重向量 $\dot{W}$ _j均与 $\dot{X}$ 进行相似性比较，将与 $\dot{X}$ 最相似的权重向量判为Winner神经元，其权重向量记为 $W_{m}^{+}$ ，而且满足

{W_{m}^{+}}^{T} \cdot \dot{X} = \underset{i = 1, \dots, n}{m a x} ({\dot{W}}_{i} \cdot \dot{X})

（1）

③网络输出与权值调整.WTA学习规则规定，获胜神经元输出为1，其余输出为0.只有获胜神经元才有权调整其权重向量.这三个步骤是循环往复的，直至达到目标.

假设MSNs之间的抑制连接的密集网络构成一个自组织网络，Winner神经元抑制相邻神经元，从而维持单个神经元的活动.这种核内选择过程发生在STR内，且选择的作用通过不同的通路传递到BG的输出层.核内选择模型也被用作Actor-Critic模型^［

33，34］中的Actor部分，其中STR使用来自SNc的奖励信号来选择正确的行动或更高级别的计划.虽然大多数模型都集中在单个动作的选择上，但是在软选择中可以同时选择多个动作，实施这种方法的模型是Winner-shares-all^{［参考文献 35

百度学术}35］，它是WTA机制的一个变种，它依赖于神经元的侧抑制和自我抑制之间的关系，从而使多个神经元变得活跃.这种机制允许从选择模型过渡到更动态的系统，该系统根据依赖于整体输入的变化阈值提供输入.

在Winner-loses-all（WLA）模型中，间接通路增强了GPi的背景活动，抑制了所有的行为，而使用直接通路抑制单个程序则导致对信号的抑制（因此称为WLA），利用不同通路之间的时间差异来阻止竞争行为，该模型假设存在与神经元池相对应的单元，这些单位是从STR经GP到丘脑的分离信息流的一部分^［

36］.与STN的扩散激励相比，Gurney等人提出的模型也是基于STR发送的聚焦信号（Focusing signal）的概念^{［参考文献 24

百度学术}24，29］.在这个模型中，GPe被添加为一个控制回路，有助于稳定选择路径并提高选择性.这与GPe在Berns和Sejnowski的模型中的作用不同，在该模型中，GPe用于为实际选择过程创建关键的时间延迟^{［参考文献 36

百度学术}36］.此外，Gurney的模型支持硬和软选择（单行为决策与多行为决策）.最后，一些模型试图将BG的行为选择网络置于一个更大的框架内.这包括丘脑和丘脑皮质连接作为行为选择网络的一部分的作用^{［参考文献 37

百度学术}37］.

2.1.2　Adaptive Resonance竞争学习神经网络

在对人类的心理和认知活动的研究过程中，Carpenter等人^［

38，39］一直试图建立统一的数学理论.1976年，Carpenter提出自适应共振理论（Adaptive Resonance Theory，ART），ART是一种认知和神经理论，研究大脑如何在不断变化的世界中自主地学习观察、分类、识别和预测物体和事件.ART是建立在一个关于学习和信息处理的基础上的.Grossberg在1957-1958年提出了一个使用非线性微分方程系统来展示大脑机制是如何产生行为功能的范例.这些方程描述了大脑的短期记忆（Short-Term Memory，STM）、中期记忆（Medium-Term Memory，MTM）和长期记忆（Long-Term Memory，LTM）.STM还可以分为加和的STM方程、分流的STM方程和广义的STM方程.

在加和的STM方程中添加了一些项，可能是非线性的，这些项决定了神经元活动或电位的变化率x_i，满足下式：

\frac{d x_{i}}{d t} = - A_{i} x_{i} + \sum_{j = 1}^{n} f_{j} (x_{j}) B_{j i} z_{j i}^{(+)} - \sum_{j = 1}^{n} g_{j} (x_{j}) C_{j i} z_{j i}^{(-)} + I_{i}

（2）

方程（2）右端从左至右依次为被动衰减项、正反馈项、负反馈项和输入项. $f_{j}$ 和 $g_{j}$ 表示与活动相关的非线性信号，B_ji和C_ji表示连接强度，z_ji表示自适应权重.

分流的STM方程更接近于模拟单个神经元的分流动力学：

\frac{d x_{i}}{d t} = - A_{i} x_{i} +

(B - x_{i}) [\sum_{j = 1}^{n} f_{j} (x_{j}) B_{j i} z_{j i}^{(+)} + I_{i}] -

(D + x_{i}) [\sum_{j = 1}^{n} g_{j} (x_{j}) E_{j i} z_{j i}^{(-)} + J_{i}]

（3）

方程（3）中B和D为常数，其他参数类似于方程（2）.

广义STM方程：

\frac{d x_{i}}{d t} = - A_{i} x_{i} +

(B - C x_{i}) [\sum_{k = 1}^{n} f_{k} (x_{k}) D_{k i} y_{k i} z_{k i} + I_{i}] -

(E + F x_{i}) [\sum_{k = 1}^{n} g_{k} (x_{k}) G_{k i} Y_{k i} Z_{k i} + J_{i}]

（4）

方程（2）和（3）为方程（4）的特殊情况.方程（4）中参数C和F均不为0对应分流的STM方程，当存在微弱的分流抑制时参数E=0，而E≠0时描述了超极化分流抑制的情况.当参数C和F均为0时对应加和的模型，兴奋性相互作用项 $[\sum_{k = 1}^{n} f_{k} (x_{k}) D_{k i} y_{k i} z_{k i} + I_{i}]$ 描述了总兴奋性反馈信号加上外部输入， $[\sum_{k = 1}^{n} g_{k} (x_{k}) G_{k i} Y_{k i} Z_{k i} + J_{i}]$ 为抑制性相互作用项.

MTM有多种作用.其中一个作用是进行细胞内适应，将对当前输入的响应划分为最近输入强度的时间平均值.另一个相关的作用是通过减少对这个神经元的净输入，防止重复激活持续地选择同一个神经元.MTM作用强度y_i通常遵循以下等式模型方程：

\frac{d y_{i}}{d t} = H (K - y_{i}) - L f_{i} (x_{i}) y_{i}

（5）

方程（5）描述变量y_i通过H（K-y_i）以固定速率H累积到其最大值K，并且通过反馈信号f_i（x_i）与门控密度y_i之间的相互作用来控制失活、习惯化或抑制.

(a) 用于空间模式学习的Outstar网络（左）和用于自下而上的自适应滤波器学习的Instar网络（右）

(a) Outstar network for spatial pattern learning and Instar network for learning of bottom-up adaptive filters

(b) Instar-Outstar联合网络

(b) An Instar-Outstarassociative network

图6 LTM存在的两种变体形式以及它们的联合网络

Fig.6 Two variants of LTM and their associated networks

LTM存在两种变体形式，一种变体称为Instar学习（网络连接方式见图6（a）上），一般应用于自组织映射（SOM）模型中自下而上的自适应滤波器的学习.另一种变体称为Outstar学习（网络连接方式见图6（a）下），一般应用于空间模式学习.Outstar和Instar学习是双重网络，在某种意义上它们是相同的，只是颠倒哪些单元是采样的，哪些是被采样.

Outstar学习方程：

\frac{d z_{i j}}{d t} = M f_{i} (x_{i}) [h_{j} (x_{j}) - z_{i j}]

（6）

Instar学习方程：

\frac{d z_{i j}}{d t} = M f_{j} (x_{j}) [h_{i} (x_{i}) - z_{i j}]

（7）

当把Outstars和Instars结合起来后，会形成一个三层Instar-Outstar网络，用于学习从任何多维输入空间到任何多维输出空间的多维映射（图6（b））.在ART模型中，这些概念被用来定义生物递归神经网络（Biological Recurrent Neural Networks，bRNN）.

以上述理论为基础，Carpenter和Grossberg随后提出ART网络.ART网络构成模式架构的一部分，反过来，模式架构体现了大脑计算的新范式，称为互补计算（Complementary Computing）和层流计算（Laminar Computing）.互补计算描述了大脑全局如何被组织成互补的并行处理流，这些流的相互作用产生生物智能行为.层流计算描述了大脑皮层如何被组织成分层的回路，这些回路的特殊功能可以支持所有形式的高阶生物智能.经过不断的研究和改进，ART网络存在以下三种：ART-Ⅰ：处理二进制离散输入信号^［

40］；ART-Ⅱ：处理连续型信号（ART-Ⅰ的扩展形式）^{［参考文献 41

百度学术}41］；ART-Ⅲ：是分级搜索模型（兼容前两种结构的功能并将两层神经元网络扩大为任意多层神经元网络）^{［参考文献 42

百度学术}42］.而且ART-Ⅲ在神经元的运行模型中纳入了生物神经元的生物电化学反应机制，因而相较于ART-Ⅰ和ART-Ⅱ，ART-Ⅲ具备了很强的功能和可扩展能力.

（a） ART-Ⅰ神经网络的拓扑结构

(a) Topological structure of ART-Ⅰ neural network

(b) Comparison layer of ART-Ⅰ neural network

注：

ART-Ⅰ神经网络的比较层

图7 ART-Ⅰ神经网络的拓扑结构

Fig.7 Topological structure of ART-I neural network

ART-Ⅰ神经网络的拓扑结构如图7（a），其被分为两层结构：输入层和输出层，根据每层的不同功能又可将输入层称为比较层，将输出层称为识别层.比较层和识别层的展开结构见图7（b）和（c）.该网络包含三部分：监视子系统、决策子系统和增益控制，具体网络结构见图8.ART-Ⅰ神经网络的学习规则是接受来自环境的输入模式，再往复地在比较层和识别层之间匹配程度检测，对于匹配程度最高的获胜神经元，网络要继续考察其存储模式类与当前输入模式的相似程度.网络对所接受的每个新输入模式，都进行上面的匹配程度检查.而对于每个输入模式，网络运行过程可归纳为4个阶段：①识别阶段；②比较阶段；③学习阶段；④搜索阶段.

图8 ART-Ⅱ网络结构

Fig.8 Structure of ART-ⅡNeural Network

ART-Ⅱ神经网络的功能结构与ART-Ⅰ的类似，仍分为两层：F₁和F₂，分别可以对应ART-Ⅰ的比较层和识别层，该网络的F₁和F₂层的闭合的单神经元正反馈处理模块拓扑结构见图9（a）.而在ART-Ⅱ神经网络F₁层中共有N个处理单元，F₂层中共有M个处理单元，并且在两层之间，即存在F₁到F₂的前馈连接权值w_ij，且F₂到F₁的反馈连接权值t_ij，其中i=1，…，n，j=1，…，m.ART-Ⅱ神经网络的学习过程也分为与ART-Ⅰ相同的4个阶段.

图9 ART-II神经网络

Fig.9 ART-II neural network

注：

(a)Topological structure of single neuron positive feedback processing module of art-ii neural network (b)ART-II网络结构

Carpenter与Grossberg于1990年提出了ART-Ⅲ神经网络，该网络是一种在神经网络层次结构中实现压缩或分布式模式识别码并行搜索的模型.该搜索过程能很好地适应快速学习和慢速学习，并能很好地实时处理异步输入模式序列.在这个网络中整合了化学突触的计算特性，如递质积累、释放、失活和调制.离子的形式类似物，如钠和钙控制的非线性反馈相互作用，使突触前递质动力学能够模拟模式识别码的突触后短期记忆表征.强化反馈可以通过改变ART-Ⅲ警戒参数或直接使用搜索机制来调节搜索过程.搜索过程是一种假设检验形式，能够发现非平稳输入环境的适当表示.ART-Ⅲ系统中的搜索动态如图10.

图10 ART-Ⅲ系统中的搜索动态

Fig.10 Search dynamics in ART-III system

(a)ART-II神经网络的单神经元正反馈处理模块拓扑结构

2.2　基底神经节行为决策模型介绍

2.2.1　基底神经节决策模型的发展历程

BG研究人员在过去几十年的工作中，对BG中各组织结构，神经元相互连接的解剖学以及神经递质产生了丰富的新知识.许多假设的理论都是在BG解剖组织的启发下提出来的.解剖成分及其化学相互作用构成了BG的Albin-DeLong模型的基础.在很长一段时间里，研究人员都是在这种Albin-DeLong模型的基础上展开研究和探索的，这也导致了大多数研究者对皮质-BG-皮质环路的研究集中于具有两个竞争要素的反馈回路：一个由直接通路介导的正反馈机制，另一个由间接通路介导的负反馈机制.现在主流的研究认为，直接通路中的活跃度降低和间接通路中的活跃度增强（由于多巴胺耗尽）导致BG输出结构中的活跃度升高，从而导致通过丘脑中继传递来抑制皮质，产生运动机能减退（如PD）.另一方面，直接通路中的活跃度增强和间接通路中的活跃度降低会导致输出结构的抑制，进而抑制（即激活）皮层，从而导致超运动力障碍（如HD和偏瘫）.Wickens等人^［

43］提出了一种基于STR基质室解剖生理学的神经网络模型.该模型由一个在所定义的区域相互抑制的神经元网络构成.模型主要从分子细胞水平研究了网络行为，模拟仿真了膜钾电导，通过控制膜钾电导最大值来控制调节网络行为.在全局层面，文献［44］中Wickens理论扩展到了Albin-DeLong模型.Wickens^{［参考文献 45

百度学术}45］运用网络模型研究了STR神经元这种局部邻域的动态情况.最活跃的神经元往往会抑制其较不活跃的邻居的活动，而且这项研究还解释了模拟DA输入的影响.Houk和Wise^{［参考文献 46

百度学术}46］提出的运动规划和控制模型，除了通过BG外，还包括通过小脑的回路.该模型的最新版本仍然继承了先前的模型思路（利用分布式处理模块，见图11），并且包含了关键的细胞和分子神经科学数据，这些数据突出了BG环路中多棘神经元和小脑皮质环路中浦肯野细胞的独特计算特征和特殊学习规则^{［参考文献 47

百度学术}47］.但该模型没有把BG的间接通路包含在内.

图11 通过BG和CB的分布式处理模块

Fig.11 Distributed processing module through BG and CB

虽然盒箭模型是理解BG相关的低运动力和高运动力病理学的一个有价值的工具，但它对健康BG的计算提供了很少的参考，而且该模型也忽视了后面提出来的超直接通路的存在，即在结构上还不够完整.在这种情况下，如若通过在该模型的基础上进行完整核的放电速率仿真，进而分析皮质-BG-皮质环路，势必会忽略复杂的放电模式、每个核内的计算以及不同核连接神经元之间的相互作用.盒箭模型的缺点，以及解剖学、生物化学、生理学、药理学和行为学信息的快速积累暴露了定性模型在解释当前数据和预测实验结果方面的不足，这就促使对BG的研究方向从系统级模型转向更详细的网络级模型，即要从定性分析模型转向对BG生物学各个方面的定量模型.从而进一步了解BG内信息处理的功能动力学、BG核内的相互作用以及它与大脑其他部分的相互作用，以此更加全面地了解BG的正常功能和病理状态.同时，随着计算机的发展，在这些领域工作的实验科学家越来越认识到计算机模拟是处理如此复杂交互作用的一种有用工具.在过去的几十年中，大量的BG定量模型被开发出来，其中很大一部分是通过计算机模拟来演示和探索的.但是当下鲜有人尝试建立一个模型来完整且准确地反映目前已知的BG的解剖结构.本综述的目的是在已知的BG生物结构及功能的背景知识的基础上，概述BG的行为决策模型.每种模型都可以或多或少地与BG的某些功能建立一定的联系，从而从不同的角度探索BG功能障碍.而且这些模型之间具有一个共同的主题，即BG检测皮质活动的背景事件并对这些背景事件做出反应，更简要地说，BG如何选择一组皮质活动.大多数模型将皮质环境的检测与皮质活动的选择或增强结合在一起，这可能是对运动或认知活动的选择或模拟序列生成中活动的调节.

2.2.2　选择-决策模型介绍

（1）Gurney的选择-控制模型

Gurney与其合作者^［

48］在1998年就提出了BG作为行为选择的脑结构.已知生物体对来自世界的不同感官刺激有不同的反应，然而，当大脑同时接收到两个感官刺激时，通常不可能表达两个不相容的的动作.Gurney等人^{［参考文献 48

百度学术}48］主要就是解决大脑内物理上分隔但在行为表达上存在竞争的功能单元之间的冲突，即行为选择问题，这个概念通常也称为行为转换.因此，更一般来说，我们可以假设大脑正在处理大量的感觉和认知流或通道，每一个都可能要求采取一些行动.大脑的任务是抑制大多数这些请求，同时在某些情况下只允许有限数量的表达.

Gurney等人^［

24，29］（2001）提出了一个生物学上可信的BG计算模型，该模型的计算前提是基于他们1998年提出的相关概念，即行为选择.在本综述中为了表述的简洁，把文献［30］记为GPR1，把文献［29］记为GPR2.在Gurney所提出的模型中，主要是解决了行为选择的神经底物是什么的问题.文中论述了该模型地四个主要目标：首先，定量地阐明选择的概念，并说明它如何应用于BG模型；第二，根据一套专门用于选择的神经机制重新解释BG解剖结构；第三，定量解释不同BG选择的功能贡献；第四，考虑到DA在调节BG功能中的重要性，对DA在选择环境中的作用进行分析.前两个目标在GPR1中被讨论，后两个目标在GPR2中被讨论.

在GPR1中，模型的架构主要是将行为选择放在直接通路上，而将解除选择留在间接通路上，具体的模型结构见图12.在这个模型中，直接通路担任着选择候选动作的功能，GPe被添加为一个控制回路，间接通路担任着控制调节选择通路（直接通路）地功能.这样的模型架构与BG解剖的比较导致BG结构的功能被分解成选择和控制路径.选择路径通过前馈进行选择，控制路径调节选择路径以确保其有效运行，并协同补充其多巴胺能调节，这样的分配更有助于稳定选择路径并提高选择性.此外，该模型支持硬和软选择（单个操作与多个选定操作）.

图12 GPR1中显示了选择与控制通路组合的完整模型的模型架构

Fig.12 The model architecture of the complete model for selecting and controlling path combinations in GPR1

该模型编码方式是通过对给定行为动作在标量值中的选择倾向（显著性）进行编码，故而将行为选择转换为信号选择.对于信号选择，他们是通过选择两个分类阈值θ₁和θ₂（0≤θ₁<θ₂≤1）将输入信号转换为三个集合：选定集、不确定集和为选定集.而模型的选择机被定义为如下映射：

G (x_{1}, x_{2}, \dots, x_{n}) = (y_{1}, y_{2} \dots, y_{n})

（8）

其中， $(x_{1}, x_{2}, \dots, x_{n})$ 是一组输入信号集， $(y_{1}, y_{2}, \dots, y_{n})$ 是对应的输出信号集，每个y_i地输出满足于以下分段线性压缩映射y（a）：

y_{i} = \{\begin{matrix} 0 \\ m (a - ε) \\ 1 \end{matrix} \begin{matrix} a < ε \\ ε \leq a \leq 1 / m + ε \\ a > 1 / m + ε \end{matrix}

（9）

其中 $a \in (x_{1}, x_{2}, \dots, x_{n})$ ，ε为一个任意小的正常数.

在GPR2中，基于GPR1的模型架构和信号选择机制进一步构建了一个含有N个STR网络，每个网络中含有n个输入节点，具体的网络连接模式见图13.在该神经框架模型中使用漏积分型^［

49］的特殊神经元，如下：

\begin{array}{l} \dot{a} = - k (a - u) \\ \tilde{a} = u \end{array}

（10）

其中，u为传入输入所产生的总突触后电位，k为取决于细胞膜电容和电阻的速率常数， $\tilde{a}$ 是平衡活化.在他们的模型中，每个BG结构节点（STR，STN，GP，SN）均应用了上述的神经元模型，并在STR位置还考虑了多巴胺地调制.该模型的详细模拟结果见文献GPR2的第四节.

图13 GPR2中模型参数注释的单个通道结构

Fig.13 Single channel structure of model parameter annotations in GPR2

在Gurney等人^［

50］（2004）的工作中，他们提出了一个简单的新纹状体点神经元模型，基于其两个主要神经元群：MSNs和快峰中间神经元（Fast spiking interneurons，FSIs）.该模型的生物学特征包括神经元间的缝隙连接、投射神经元间的横向连接以及神经元间的GABA神经支配.该模型分别预测了由投射和中间神经元群介导的短距离和长距离空间尺度上的独立但协作的选择功能.它还预测了作为自动增益控制、DA选择性控制的GP-STR通路的作用，并能解释中间神经元相对稀少的原因.该模型中的两个神经元群的基本功能单位（点神经元）均服从一个简单的泄漏-积分器膜方程.经过对该模型的分析得出以下四条结论：

①选择在两个空间尺度上；

②选择取决于细胞群之间的相互作用强度；

③选择取决于细胞间连接的加权；

④选择是在低中间神经元密度的情况下实现的.

Gurney及其合作者^［

51］（2014）的研究弥补了关于STR微电路在BG-丘脑-皮质回路的行为选择中所起的积极作用的知识缺口，具体的STR中GABA微电路的连接，如图14所示.为了评估STR在行为选择中的计算作用，他们结合BG-丘脑-皮质回路的速率编码模型，使用了STR的大规模三维Spiking模型，该模型是对Izhikevich神经元模型^{［参考文献 52

百度学术}52］的拓展，其中包括多巴胺调节对固有离子通道和突触输入的影响，如下：

\begin{array}{l} C \dot{v} = k (v - v_{r}) (v - v_{t}) - u + I \\ \dot{u} = a [b (v - v_{r}) - u] \\ i f v > v_{p e a k}, 则 \{\begin{array}{l} v \leftarrow c \\ u \leftarrow u + d \end{array} \end{array}

（11）

图14 STR中微电路的连接

Fig.14 Connection of microcircuits in STR

v为膜电位，u为恢复变量，C为电容，v_r和v_t为静息电位和阈值电位，I为电流源，c为复位电位，a、k和b是参数.以此为基础，进一步描述了模型的MSNs、FSIs和固有离子通道的多巴胺能调制.并给出了突出模型（具体模型描述见文献［

51］）.

在他们的工作中，一方面，他们识别了由STR微电路产生的一种鲁棒瞬态现象，它暂时增强了两个相互竞争的皮质输入之间的差异.并且证明这一瞬态足以调节BG-丘脑-皮质回路的决策.另一方面，他们还发现，瞬态选择是由单个STR-MSNs的一种新的适应效应引起的，这种适应效应可以通过实验验证.最后，将瞬态选择与经典稳态选择模型进行了比较，并解释了关于HD症状，在所有模拟HD条件下，稳态选择均受到损害，但当NMDA受体敏感性有足够的类似HD症状的增加时，瞬态选择得到增强.因此，他们的模型为HD的认知改善机制提供了一个假设.

Gurney等人^［

53］（2015）提出了一个皮质-STR可塑性的计算模型框架.他们提出在强化学习中，需要在强化信号和行为表征之间建立一个神经接口.基于Mogenson及其同事^{［参考文献 54

百度学术}54］的研究工作，他们提出一个合理假设，即强化信号作用的神经接口是皮质-STR权重和阶段性DA之间的相互作用.因此，通过价值调节的环境反馈，以期用阶段性DA信号的形式来调节皮质-STR权重，从而改变将来优先采取的行动^{［参考文献 55

百度学术}55］.Gurney等人提出了一个模型，它弥合了皮质-STR突触层次上复杂微妙的可塑性和整个动物行为之间的鸿沟，从而有力地证明STR确实是动作强化神经接口的位点.

Gurney等人（2001）在一定程度上验证了BG的行为选择功能，并从计算的角度首次定量地实现该功能机制的模拟.Gurney等人（2004）提出的新纹状体模型虽然基于高度简化的神经功能，但仍然能够在选择性功能的框架下对BG的解剖和生理特征的作用做出若干预测.在之后2013年的工作中，他们使用一个生物学上可信的内在动机性操作学习（行为探索）模型，探索了皮质显著性、皮质-STR可塑性在BG中的可能作用.Gurney等人（2015）进一步在皮质-STR可塑性上展开了深入的研究.

Gurney等人在BG回路背景下提出的中心选择模型，即STR的皮质输入是用通道来描述的，其中每个通道指的是竞争的资源或行为，并来源于负责处理它的（皮质）神经底物.模型分为选择和控制机制，即只有具有最高显著性的通道仍然保持足够的抑制，以解除对目标的抑制，从而进行选择.在这样一个BG处理的中心环绕模型为BG在动作或运动程序选择中的作用提供了动力.另一方面DA的作用包括在模型中，不同水平的DA影响了控制机制和选择机制.通过模拟，DA在选择和控制通路中表现出的协同效应与Murer等人^［

56］的研究一致，这表明两种DA受体亚型的同时激活对SNr激活率有相互促进的作用.

在Gurney等人的工作中，一方面，结构上大多只包括直接和间接通路之间的交互（例如GPR1和GPR2），没有将超直接通路完全整合到模型中.另一方面，他们的模型多采用漏积分型神经元，虽然这个神经元模型是最简单的，且融合了动态膜电位的概念，同时避免了建立大量离子通道模型的需要且方便了计算，但这也恰恰丢失了一些真实神经元的某方面信息，而且该模型也无法容纳某些功能数据（例如，GPe在PD中的作用）.

（2）Humphries的神经元群模型

Humphries等人基于BG的行为决策的相关建模工作是在Gurney等人的理论基础上开发和拓展的.Humphries等人基于90年代以来Gurney等人开发的BG行为选择理论，开发了一个详细的BG系统的Spiking神经元模型，包括所有的主要核的主要特征和许多生理上合理的细节^［

25］.在该模型的体系结构中（见图15），对于每个BG组件都定义了模型中的神经元群（总共有五个群：Ω_s1（D1介导的STR）、Ω_s2（D2介导的STR）、Ω_T（STN）、Ω_G（GP）和Ω_O（SNr），包含了N=3个通道，每个通道有n=64个神经元，每个神经元群总共有192个神经元.对于每个神经元使用了具有附加机制的泄漏整合发放（Leaky Integrate-and-Fire）模型来捕获每个神经元物种的关键特性，神经元膜电位V^m由下式给出：

τ^{m} \frac{d V^{m}}{d t} = - V^{m} (t) + R I (t)

（12）

其中，R是神经元输入电阻，I（t）是各种电流源（包括突触源）的总和， $τ^{m}$ 是膜时间常数.为了模拟单个突触事件对膜电位V^m的突触后电流（PSC）的贡献，引入了一个服从指数衰减的核函数F（•）来对记录的PSC作简单拟合：

F (x) = e x p (- \frac{x}{τ^{s}}) H (x)

（13）

其中H（x）是单位阶跃函数（Heaviside step function）［即当x<0时，H（x）=0；否则H（x）=1］，并且 $τ^{s}$ 是突触时间常数.

图15 Humphries等人^[

25](2006)BG模型的功能连接

Fig.15 Functional Connection of BG Model in Humphries et al (2006)

为了证明他们的基础模型的一般有效性，他们拟合了三个数据集（强直放电率、低频振荡（Low-frequency oscillator，LFO）和γ-波段振荡）.虽然他们的模型中依然是使用相对简单的模型神经元，但该模型能够可靠地拟合BG核的平均强直放电率，为所有其他工作提供一致的基础.他们同样演示了信号之间的选择和切换，这些信号表示动作的显著性，模型显示了行为选择的作用方式.该模型的另一个显著特征是STN-GPe系统的同步振荡，该系统可以通过DA进行调制：在正常或高DA条件下，STN和GPe被解耦，并呈现出非同步振荡；在降低DA条件下，两个核是动态耦合的，显示出与PD条件下病理同步振荡.根据模型计算与分析的结果，在模型的预测方面，他们证明了：①该模型可以在Magill等人（2001）报告的四种实验条件下再现STN和GP的LFO发生率和平均放电率的变化；②模拟的STN神经元在与健康自由运动大鼠相对应的模型条件下具有γ-波段的活动，并且在模拟的D2激动剂注射后，这种活动增强，再现了Brown等人的结果（参见文献［

57］）；③γ-波段活动存在于模拟GP中，与最近的局部场电位（Local-field potential，LFP）记录一致（参见文献［58］）；④STN和GP在γ频率波段中都能产生Spiking活动，这为γ-波段LFP活动可直接归因于该频率范围内的突触活动的假设提供了支持，而且这与在STN和GP中结合了LFP的研究以及单细胞中的记录的研究是一致的.另一方面，他们证明了行为选择假设和神经元群水平BG模型的结果，并得到了BG的生物学上可信的Spiking神经元模型的支持.

Humphries等人^［

59］（2010）的工作着重探索了BG的侧腹区域在行为决策方面的作用，并提出了一个计算模型的功能架构（见图16）.在这个架构中，STR腹侧区（伏隔核核心和外壳）输入结构的完整示意图包含海马、杏仁核和前额叶皮质（Prefrontalcortex，PFC）的广泛输入.他们提出BG的侧腹区域是一个多功能系统的集合，用于学习和选择灵活的行为和行为策略，共享通过解除抑制选择和多巴胺能调制的共同操作.而Humphries等人^{［参考文献 60

百度学术}60］（2012）研究了通过BG多巴胺能调节探索-利用之间的平衡问题.他们认为这种探索-利用权衡取决于环境：稳定性有利于利用已有知识以获得最大收益；波动性有利于探索新的选择和新的结果.文中首先提出了将BG输出解释为行为选择的概率分布函数的思想，利用BG回路的计算模型，并证明了STR内DA的作用改变了BG的输出，有利于提高概率分布中编码的探索或利用水平.最后，通过将BG整合到强化学习模型中，展示了DA对探索-利用平衡的影响是如何在强制的两种选择任务中被衡量的.

图16 Humphries等人^[

59](2010)的计算模型的功能架构

Fig.16 Functional architecture of BG computing model in Humphries et al (2010)

（3）Frank的认知决策模型

Frank等人在有关行为选择的研究工作中主要是从认知的综合作用角度来切入，提供了一个神经计算模型，说明了BG、丘脑和皮层与DA和其他神经递质如何基于奖励机制、运动和认知学习任务来相互作用.Frank的框架表明，BG调制整合运动和认知行为，这些行为是在运动和前额皮质编码，在运动域中，这些模型假设到运动前皮层的BG输出负责行为选择.而且Frank等人的研究主要关注两类模型：那些包含更现实生物方面且受功能原理约束的模型，以及更抽象的数学模型，这些模型关注更高层次的BG计算目标.前者可以说更现实，后者在描述系统如何在相对简单的方程组中工作的功能原理方面具有互补优势，但不太适合对特定核和神经生理学作出具体假设.

Frank等人^［

61］（2001）是基于BG的并行环路来开展的，他们提出这些环路中的每一个都可以再次细分为不同的子环路，并估计人类额叶皮层总共包含大约20000个这样的环路，模型的具体结构见图17.他们认为，在BG间歇放电与PFC持续放电之间存在分离，前者起到门控作用，后者起到维持作用.PFC和BG通过一个相对较好理解和复杂的相互连接系统相互作用.在运动功能的背景下，这些相互联系可以理解为解除或释放对额叶运动计划的抑制：BG检测执行运动动作的适当环境，并使额叶皮层在适当的时间执行这些动作.在我们的模型中，额叶皮层表现出强大的主动维持功能，而BG提供了选择性的、动态的门控功能.该模型是使用Leabra框架的一个子集实现的且它的两个相关特性是：①使用点神经元激活功能；②k-Winners-Take-All（k-WTA）抑制功能，模拟抑制神经元的作用^{［参考文献 62

百度学术}62］.

图17 Frank等人^[

61](2001)的计算模型的功能架构

Fig.17 Functional architecture of BG computing model in Frank et al. (2001)

对于特性①，即点神经元激活功能，Leabra使用一个点神经元激活功能来模拟真实神经元的电生理特性，同时将其几何结构简化为一个点.如下所述

\frac{d V_{m} (t)}{d t} τ \sum_{c} g_{c} (t) {\bar{g}}_{c} [E_{c} - V_{m} (t)]

（14）

其中，V_m（t）：膜电位；g：离子电导；E：反向（驱动）电位；c：四类通道；e：兴奋性输入；l：泄漏电流；i：抑制性输入；h：反映可切换持续兴奋性输入作用的滞后通道）； $\bar{g}$ 是一常数，用于控制不同电导的相对影响.

对于特性②，即k-WTA抑制功能，Leabra使用k-WTA函数来实现稀疏的分布式表示，该机制计算出同一层中所有单元的抑制电流水平，如下：

g_{i} = g_{k + 1}^{Θ} + q (g_{k}^{Θ} - g_{k + 1}^{Θ})

（15）

其中0<q<1，是设置 $g_{k}^{Θ}$ 上限和 $g_{k + 1}^{Θ}$ 下限之间抑制的参数.这些边界抑制值是将一个单元保持在阈值位置所必需的抑制水平的函数，满足如下关系：

g_{t}^{Θ} = \frac{g_{e}^{*} {\bar{g}}_{e} (E_{e} - Θ) + g_{l} {\bar{g}}_{l} (E_{l} - Θ)}{Θ - E_{i}}

（16）

其中 $g_{e}^{*}$ 是没有偏倚权重贡献的兴奋性净输入；这允许偏倚权重覆盖k-WTA约束.

此外，还描述了调节PFC中细胞内维持离子电流的门控方程.如果PFC门控层中的任何单元有超过维持阈值的激活，则PFC维护层中的相应单元将其胞内兴奋电流（g_h）设置为传输单元的激活值，从感觉输入层接收兴奋输入量的次数满足如下关系：

g_{h} = \{\begin{matrix} x_{i} η_{j} \\ 0 \end{matrix} \begin{matrix} x_{i} > Θ_{m} \\ 其 他 \end{matrix}

（17）

其中，x_i是传输激活， $η_{j}$ 是来自感觉输入的净输入，而 $Θ_{m}$ 是维持阈值.

在上述模型中模拟了兴奋性突触输入通道，抑制性输入通过简单的近似于抑制性中间神经元的作用来计算，还有一个恒定的泄露电流，它代表了K⁺通道总是打开的效果，并且维持额叶神经元有一个默认关闭的可切换兴奋的离子通道.具体的权重是使用标准的Leabra误差-驱动和联想（Hebb）学习机制进行训练的，以实现序列中每个步骤的目标激活.

而后，

Frank（2005）的模型引入了直接和间接通路的概念（BG的直接和间接通路的神经网络模型结构见图18），直接途径负责选择适当的行动（Go），而间接途径负责抑制不适当的行动（NoGo）^{［参考文献 63

百度学术}63］.直接和间接途径在GPi中会聚并竞争以控制GPi的激活，最终达到响应.而且最重要的是，Frank的决策模型中表明DA有益于BG中运动、认知和基于奖励机制的学习和表现，这得到先前研究的支持.在Frank（2005）模型中，输入同时激活运动前皮层和STR.然而，皮质激活不足以产生反应，因此需要BG处理来选择正确的反应，直接和间接通路之间的竞争由DA调节.具体来说，较高的DA水平增加了直接途径的激活（例如，通过D1受体），并减少了间接途径的激活（例如，通过D2受体）.因此，意想不到的奖励后DA释放会导致直接途径的长期增强（Long-term potentiation，LTP）和间接途径的长期抑郁（Long-term depression，LTD）.相反，在没有奖励的情况下，多DA下降会减少直接通路的激活并产生LTD，但会增加间接通路的激活并产生LTP.而且在模型中，他们通过激活STN，在运动神经前部和扣带区表现出多种竞争反应，对于减缓反应和防止在不同的决策过程中出现过早反应至关重要.Frank（2005）的模型依然是在Leabra框架的基础上建立起来的，在上述内容中已有介绍，下面只描述与当前模型相关的特定方法.在他们概率分类仿真（WP）任务中，使用与原始研究相同的概率结构，而在概率反转模拟（PR）任务中如在WP任务中一样，PR任务中的两个刺激中的每一个都由输入层中的一列单位表示.与WP任务不同，潜在的响应包括直接选择输入中的两个刺激之一（即两个可选的强制选择）.关于D1对比度增强参数，这里给出了Leabra激活函数的简化版本：

y_{j} (t) = \frac{1}{(1 + \frac{1}{y {[V_{m} (t) - Θ]}_{+}})}

（18）

上式表达了传递给其他细胞的激活（y_j）是膜电位的阈值（Θ）增益参数（γ）的Sigmoid函数，其中［x］₊是阈值函数，如果x<0，返回0；如果x>0，返回x.

图18 BG直接和间接通路的神经网络结构

Fig.18 The neural networkstructure of direct and indirect pathways of BG in Frank et al (2005)

(a) 皮层-BG神经回路

(a) Cortex-BG neural circuit

(b) 皮层-BG计算框架

(b) Cortex-BG computing architecture

图19 Frank等人^[

18](2006)的计算模型的功能架构

Fig.19 Functional architecture of BG computing model in Frank et al. (2006)

在

Frank（2006）推出的模型中结合了STN，增加了超直接通路（见图19（a）），在图19（a）中，STR-皮层神经回路包含BG的直接通路（Go）和间接通路（NoGo）^{［参考文献 18

百度学术}18］.直接通路的Go神经元通过GPi去抑制丘脑，达到促进皮层一个动作被执行的目的.间接通路的NoGo神经元通过增加丘脑的抑制达到相反的功效，抑制来自皮层动作的执行.来自SN的DA投射到背侧STR，通过D1受体引起Go神经元产生兴奋，同时通过D2受体抑制NoGo神经元.该模型的计算框架包括四个相互竞争的响应（R1-R4），见图19（b）.在图b的回路中的神经网络模型（方块代表单位，高度表示神经活动），前运动皮层选择一个直接来自感觉皮层输入投射刺激的输出响应，且被来自丘脑的BG投射刺激来调节.Go单位是STR的左半部分，Go单位是STR的右半部分，对应两个响应的不同列（R1和R2）.这种情况表明，R1部分STR的Go单位比NoGo单位强，抑制的GPi去抑制丘脑，促进来R1执行来自皮层的动作.SNc出现持续的DA，反馈阶段出现的一个簇发放或者静息导致Go单位学习，这里的模型没有考虑STN的影响，但在模拟计算中必须考虑.

在Frank的模型中，STN在超直接通路中接受来自前/运动皮层的兴奋性投射，同时刺激GPi和GPe；GPe对STN活性具有抑制反馈作用，从而进一步研究考察了STN在BG回路中的作用.该模型还是在前面的模型基础之上进行的拓展，通过x/（x+1）Sigmoid函数对Leabra框架中的集成的膜电位进行阈值化和转换，生成一个速率编码输出，并将其传递给其他单元.每一层都使用一个k-WTA函数，该函数计算一个抑制电导，使大约k个最活跃的单元保持在触发阈值以上，其余的保持在阈值以下.并通过将兴奋性驱动电位（E_e）设为1，泄漏和抑制性驱动电位（E_l和E_i）设为0，则将平衡电位简化为如下形式：

V_{m}^{\infty} = \frac{g_{e} {\bar{g}}_{e}}{g_{e} {\bar{g}}_{e} + g_{l} {\bar{g}}_{l} + g_{i} {\bar{g}}_{i}}

（19）

这表明神经元正在计算兴奋与泄漏和抑制的反作用力之间的平衡.方程的平衡形式可以用贝叶斯决策框架来理解^［

62］.此外，兴奋性净输入/电导g_e（t）或

η_{j}

是以开放兴奋性通道的比例计算的，是传输激活（x_i）和权重的乘积：

η_{j} = g_{e} (t) = <x_{i} w_{i j}> = \frac{1}{n} \sum_{i} x_{i} w_{i j}

（20）

在本模型中，泄漏电流设置为常数，对于抑制电导分为层间和层内，在层间是通过简单的单元抑制来实现抑制，其中单元的抑制电流g_i由传输单元的净输入确定.Leabra使用k-WTA功能来实现各层（区域）内单位之间的抑制竞争，采取的具体计算方式与

Frank（2001）的方法一样.另一方面，在模型的学习模型中，在大多数行为选择模型中主要使用三因子Hebb规则训练进入STR神经元的突触.这个规则包括3个项的乘积：突触前、突触后和基于阶段性DA的三个乘法项.在Frank^{［参考文献 63

百度学术}63］的这个模型中没有使用三因素规则，而是采用了比该规则更为复杂的Oja规则（即带遗忘因子的Hebb规则）和与Boltzmann机制中常用的规则相似的误差驱动规则.具体的Hebbian权重替换方程为

Δ_{h e b b} w_{i j} = x_{i}^{+} y_{j}^{+} - y_{j}^{+} w_{i j} = y_{j}^{+} (x_{i}^{+} - w_{i j})

（21）

误差-驱动学习使用对比Hebb学习（Contrastive Hebbian learning，CHL）

Δ_{e r r} w_{i j} = (x_{i}^{+} y_{j}^{+}) - (x_{i}^{-} y_{j}^{-})

（22）

它服从于一个软权重限制，以保持在0~1范围内：

Δ_{s b e r r} w_{i j} = {[Δ_{e r r}]}_{+} (1 - w_{i j}) + {[Δ_{e r r}]}_{-} w_{i j}

（23）

然后将这两项与归一化混合常数k_hebb相加

Δ w_{i j} = ε [k_{h e b b} (∆_{h e b b}) +

(1 - k_{h e b b}) (Δ_{s b e r r})]

（24）

仿真结果表明，STN在执行响应时进行调制，该模型在响应选择过程中准确地捕捉了不同BG区域的活动动态，STN减少了过早响应，因此对最终选择响应有重大影响，尤其是在存在多个竞争响应时.皮质反应冲突的增加导致通过皮质-STN-GP途径动态地调整反应阈值.此外，在完整和模拟PD状态下，对反应选择过程中不同BG区域的活动动力学进行分析，模拟DA消耗导致BG结构突然出现振荡活动，认为这与PD震颤有关，发现它们与生理上观察到的相同模式有着惊人的关系，这为模型的生物学合理性提供了支持，并进一步深入了解反应选择背后的神经过程.最后，该模型解释了STN损伤对这些振荡的有益影响，但表明这种益处可能以决策受损为代价.文中结合试验研究结果认为直接和短间接通路会影响相对集中的GP表现，而超直接通路和长间接通路可能会产生相对全局的影响.该模型也与大鼠的行为研究结果一致，显示STN损伤恶化，而STN刺激改善，在高冲突选择范式中出现过早反应^［

64］.这正是假设在响应选择过程中依赖于STN的动态全局NoGo信号预测的结果.

（4）Wang的决策选择模型

根据韦伯-费希纳定理，生理上同一刺激差别是必须达到一定阈限，生理才会产生差异感，这个差异关系表述为ΔI/I=k（其中，I为原刺激量，ΔI为此时的差别阈限，k为常数，又称为韦伯率），这表明了心理量和物理量之间的关系.基于韦伯-费希纳准则，Wang提出一个简单的神经决策模型，该模型的决策准则中包含向左和向右的两个选择，选择受到皮层的影响，选择方法由模型的奖励率刻画.显然，Wang模型给出了一个基于韦伯-费希纳准则的选择模型，也可以将模型推广到一般的几个决策模型当中.

在Chung-Chuan

Lo和Wang（2006）的工作中^{［参考文献 65

百度学术}65］，他们基于神经生理学研究的发现提出以下问题^{［参考文献 66-68}66-68］：①决策阈值的神经底物是什么？②如何解读阈值交叉事件？③能否通过生物学上合理的机制调整阈值以优化决策过程？为了解决上述问题，他们采用基于生物物理学的回路模型，该模型结构是一个由皮质、上丘和BG相互连接的大规模网络（结构连接见图20（a））.在皮层-BG-上丘网络中的神经池整合感觉信息，并相互竞争，然后它们投射到BG的尾状核和上丘.其中皮质（Cx）网络模型包含两个具有复发性兴奋的神经元群（Cxe^R和Cxe^L），每个神经元群包含240个兴奋神经元，且与GABA抑制性神经元群（Cxi）相互竞争.在上丘（SC）模型中，构建了三种神经元群（图20（a））：两个包含250个兴奋性神经元的群（SCe^R和SCe^L），一个包含250个抑制性神经元的群（SCi）.在BG模型中，文中主要研究BG如何调节决策的时机和执行，其中包含有两个核（CD和SNr），每个核由两个群体组成，它们可以选择两个决策方向，每个群体包含250个GABA神经元.上述的三个网络每个神经元群都是通过有噪声的Spiking模型（LIF）来模拟的，突触电流是由现实的门控动力学来描述的.模型中的奖励率（R）定义为R=P/T（P表示表现状态；T表示平均试验时间持续时长，具体的定义式见Chung-Chuan Lo和Wang^{［参考文献 65

百度学术}65］（2006）第四部分.

(a) 皮质、上丘和BG相互连接的网络

(a) Interconnected networks of cortex， superior colliculus and BG

(b) 细化的BG内部通路^[

65]

(b) Refined internal pathways of BG

图20 皮质-基底神经节环路决策计算模型

Fig.20 Computational model of cortico–BG circuit decision making

在Wei，Rubin和 Wang^［

69］（2015）的工作中，他们超越了以往直接和超直接通路研究的重点，在基于生物物理的Spiking网络模型中，研究了BG系统的间接通路对决策的贡献，其模型结构是在文献［65］的模型结构基础上细化了BG内部通路，见图20（b）.模型计算使用IF神经元模型来捕捉STN和GPe神经元的这种放电特性.膜动力学由下式给出^{［参考文献 70

百度学术}70］：

C \frac{d V}{d t} = g_{L} (V - V_{L}) - g_{T} h H (V - V_{h}) (V - V_{T}) - I_{s y n}

（25）

研究发现通过皮质-STR连接的可塑性来调节决策阈值的机制是有效的，前提是间接通路在它们对输出核的投射中平衡了直接通路.此外，在他们的模型中，BG连接的变化与PD中出现的变化类似，会引起强烈的β振荡.在以明显的β振荡为特征的PD状态下，与正常状态相比，平均反应时间和阈值变化范围（一种行为灵活性的度量）显著降低.因此，他们的工作揭示了与PD相关的知觉决策障碍的特定回路机制.

（5）Rabinovich的相空间动力学选择模型

捕食-被捕食模型描述生物或生态系统中生物种群数量的相互作用，高维Lotka-Volterra模型是最经典的情形，其相空间动力系统的可能状态有平衡点和轨线等，对应结点、鞍结点、周期轨道、同宿-异宿轨道及其相互转化的情况.而具体到智能体决策问题，一般的，有关环境的信息通常由动物感觉神经系统中的神经元编码成尖峰序列，再由皮下结构组织进一步处理.而且每个感觉刺激都有一个特定的、可重复的跨特定神经元放电序列的特征.对控制神经决策的神经回路，有描述该神经回路的Lotka-Volterra模型，Rabinovich等提出用该神经回路模型相空间的状态变化刻画该神经回路控制神经决策的选择过程.

以上述理论为基础，为建立一个依赖神经回路动力学理论的决策模型，Rabinovich等人基于抑制神经回路的模型，构造了一类无赢竞争（Winnerless competition，WLC）网络的动力学决策模型.该模型与上述模型不同，它是由FitzHugh-Nagumo（FHN）神经元模型组成的WLC系统级网络^［

71］，该系统能有效地将输入信息转化为时空输出，即将输入信息编码为轨道，这些轨道位于连接鞍区（不动点或极限环）的异宿轨道的附近.为更为具体地阐述利用动力学来指导决策的想法，他们通过利用含有N个神经元和相关动力学变量的网络为例子来说明.该网络是由以下方程组描述：

\{\begin{matrix} τ_{1} \frac{d x_{i} (t)}{d t} = f [x_{i} (t)] - y_{i} (t) - \\ z_{i} (t) \cdot [x_{i} (t) - v] + 0.35 + S_{i} \\ \begin{array}{l} \frac{d y_{i} (t)}{d t} = x_{i} (t) - b y_{i} (t) + a \\ τ_{2} \frac{d z_{i} (t)}{d t} = \sum_{j} g_{j i} G [x_{j} (t)] - z_{i} (t) \end{array} \end{matrix}

（26）

其中，x_i（t）表示第i个神经元的膜电位；y_i（t）表示第i个神经元的恢复变量；z_i（t）为一阶动力学模型下的突触电流，表示神经元突触之间的抑制关系；G（x）为单位阶跃函数（G（x）=0，x≤0；G（x）=1，x>0）；S_i表示第i个神经元的外界刺激；g_ji表示突触抑制连接强度（如果第j个神经元对第i个神经元存在抑制，则g_ji=2，否则为0）；其他参数为a=0.7，b=0.8，τ₁=0.08，τ₂=3.1和v=-1.5.Rabinovich等人以WLC为基础的决策思路可以概括为图21，即根据系统轨道的变化来解释决策状态的变化.

图21 Rabinovich的动力学决策框架

Fig.21 Rabinovich's dynamic decision-making framework

在文献［

72］中，Varona等人根据感觉神经元之间WLC动力系统模型产生的混沌现象，提出了一种可能的软体动物捕食行为的机制.他们的模型描述了大脑狩猎中间神经元对重力感觉器官（平衡器）的受体神经元的作用.由六个具有Lotka-Volterra型动力学和非对称抑制相互作用的受体模型神经元组成的网络没有简单的静态吸引子来对应WTA现象.相反，由狩猎神经元引起的WLC显示出具有两个正Lyapunov指数的超混沌.混沌的起源与两个受体神经元簇的相互作用有关.Levi等人^{［参考文献 73

百度学术}73］（2003）在Varona等人的模型基础上进一步拓展了研究.Rabinowich等人^{［参考文献 74

百度学术}74］（2006）以WLC为背景，总结了一种新的智能决策范式，它适用于动物或人工自主装置的动态顺序活动，该活动取决于内部和外部世界的特性.该模型根据环境和决策准则控制顺序活动的后续步骤的选择顺序.分析了使系统摆脱不稳定环境的两种策略（高风险和风险规避条件）.

3 皮质-BG环路行为决策的神经底物探索

神经科学家和认知科学家普遍认为BG负责行为决策.即BG基于某种背景事件给予的相关信号，对于每个可能的行为动作给出一个效用值，然后选择当前效用值最高的动作.然而，从生物学的角度，我们可以提出以下问题：①进行行为决策的神经底物是什么？②这种神经底物功能性操作是如何进行的？

3.1　小脑在BG决策模型中的作用

除了以上介绍的主要以皮质-BG环路作为行为决策的神经底物来展开建模的计算研究外，Houk等人^［

75］的工作还将小脑（Cerebellum，CB）考虑在他们的对认知信号处理的模型结构当中，具体模型的连接结构见图22，通过前额叶皮层、尾状核、GPi和丘脑（T）的直接通路中的循环回路被用来编码两个视觉线索A和B.历史上，CB被认为是一种协调运动的结构，而且CB在运动协调中的重要作用仍然被接受，但CB功能的概念在过去四十年中已经有了很大的发展.许多研究人员现在认为这种结构在运动学习中起着重要作用，这就说明了CB和BG对PFC所代表的认知功能起作用.在Houk^{［参考文献 76

百度学术}76］（2001）的研究中，首次提出了BG、PFC和CB的分布式模块结构（Distributed processing modules，直接通路Ms），见图11和23.他们提出的这种运动规划和控制模型的最新版本（文献［47］）包含了关键的细胞和分子神经科学数据，这些数据突出了BG环路中多棘神经元和CB皮质环路中浦肯野细胞（Purkinje cell）的独特计算特征和特殊学习规则.图22所示的每一个CB回路都包括一个穿过CB核的相互兴奋回路，该回路传递正反馈，其行为类似于吸引子网络，类似于Wickens的全局模型中的Hebbian脑皮质集合.从浦肯野细胞到核细胞的显著抑制性投射被认为是对CB吸引子网络的固定点施加了强有力的控制.该机制可以解决Wickens的全局模型所面临的稳定性问题.基于先前的建模研究，在Houk^{［参考文献 75

百度学术}75］（2007）的研究中介绍了通过BG的直接通路Ms环路的计算特点，并与两种自然作用选择的实验结果进行了比较.他们的两项研究结果显示，大脑皮层、BG和CB的部分活动模式与作者的分布式处理模块假设相一致，表明基底神经节的作用是选择主要的运动，包括指向目标的运动，以及更小的纠正运动，以精确定位目标.

图22 PFC、CB和BG相互连接的网络

Fig.22 The interconnected network of PFC，CB and BG

图23 BG、PFC和CB的分布式模块结构

Fig.23 Distributed module architecture of BG，PFC and CB

3.2　脑干在BG决策模型中的作用

有关行为选择的皮层下基质的探索，

Humphries等人（2007）认为BG并不是所有形式的行为选择所必需的，而中央脑干结构，即内侧网状结构（medial Reticular Formation，mRF）符合Redgrave等人^{［参考文献 32

百度学术}32］（1999）建立的行为选择机制标准.根据最新的解剖数据，Humphries等人^{［参考文献 25

百度学术}25］（2006）描述了mRF内在结构的结构模型，该模型表明，它在神经元层面上配置为一个小世界网络，这意味着诸如快速跨网络同步、一致稳定和持续的活跃等特性，这对于行为选择竞争的表现和解决具有一定的参考价值.在他们目前的文章中，Humphries等人^{［参考文献 77

百度学术}77］（2007）的研究进一步表明，mRF连接性的内在组织可能已经进化为将网络配置的特征模式的连接长度最小化，该特征模式可以描述为一系列堆叠的集群，文中所提的集成行为选择机制的备选方案见图24.然后，这些作者提出了一个计算模型，探索了关于mRF可能的功能组织的替代假设，结论是每个集群的输出表示一个完整行为的子组件的体系结构似乎与现有证据最为一致.换言之，该模型表明，一组mRF簇的协同激活与动物协调行为反应的表达相一致.mRF中选择系统与BG的关系有待研究.一种可能是，mRF协调扩展的行为模式，可以在BG水平的整体中选择.另一个原因是，mRF形成了一个并行的行为选择基质，与分层控制的概念保持一致，这样，行为选择对前脑系统的损害会留下一个完整的脑干网络，该网络能够防止最具破坏性的行为解体形式.

图24 包含mRF的集成行为选择机制的备选方案

Fig.24 Options for an integrated behavior selection mechanism with mRF

除了上述提到的大脑结构外，在文献［

78］中，研究者对四个大脑神经回路，即嗅球网络、小脑皮层、海马结构和丘脑皮层，建立了回路模型，通过对这些回路的动作电位实施数值模拟，探究了它们的网络特性和发放模式，分析比较这回路中信息传递特性，为大脑决策的网络结构连接和编码方式的探索提供了一些依据.

4 BG行为决策与大脑疾病

4.1　大脑疾病-帕金森病(PD)

PD是一种进行性神经系统退行性疾病，主要的临床特征包括震颤、僵直、运动失调等.关于发病原因，实验数据表明，多巴胺能系统的损伤导致如下情况：①STR神经元中Dl和D2多巴胺受体mRNA的差异表达；②神经调节因子（如P物质、脑啡肽）在STR中表达的产生差异；③通过增强间接通路的响应和降低直接通路的活性而使GPi活性饱和；④由于直接通路中神经元活性低于正常水平，导致GPi活性动态范围丢失，致使调节性输入不足，进而引起GPi缺乏调节正常运动输出的调节输入；⑤GPi细胞过度抑制丘脑靶神经元产生低动力障碍.

从分子细胞水平分析，PD主要是SNc的多巴胺能神经元退行性变导致的神经元死亡而引起的.而触发SNc的多巴胺能神经元的退行性过程可能是线粒体缺陷、氧化应激和细胞蛋白聚集等相互作用导致了谷氨酸能的异常（PD发病机制的相关因素见图25）^［

79］.而从功能连接方面分析，SN-STR投射系统受损后（图26（a））和正常情况下（图26（b））的主要BG回路及其活动如图26，图（b）中连接线段变粗表示刺激变强，连接线段变细表示刺激变弱.STR输出神经元在直接通路和间接通路中的响应说明了DA消耗后STR发生的一些神经化学变化.这些变化包括间接通路中D2受体的增加和直接通路中Dl受体的减少；间接通路中脑啡肽表达的增加和直接通路中P物质表达的减少.这些变化分别与间接通路和直接通路中STR-GP和STR-SN神经元活性的增加和减少相一致.

图25 PD发病机制

Fig.25 Parkinson's pathogenesis

(a) 正常BG的神经通路

(a) Neural pathways in normal BG

(b) PD患者的BG的功能连接

(b) Functional connections of BG in Parkinson patients

图26 正常和帕金森病患者BG功能连接图

Fig.26 Functional connectivity of BG in normal and PD's disease patients

总而言之，PD是由于多巴胺能系统中SNc损伤，导致DA耗竭，引起BG内的直接通路和间接通路之间的平衡发生紊乱.更具体地讲，DA分别作用于STR中的MSNs，在正常的情况下，D1细胞参与的直接通路和D2细胞参与的间接通路的活性是彼此平衡的.而在PD的状态下，由于SN细胞释放的DA减少，使D1、D2介导的两条通路受到不同程度的影响，二者之间的活性平衡遭到严重破坏，引发由D1神经元介导的直接通路兴奋性减少，而由D2神经元受体介导间接通路兴奋性增加，致使无法正常地对高级运动中枢的指令做出响应.从而产生PD的一系列临床症状.

4.2　行为决策模型和帕金森病

从早期对BG模型的研究开始，研究者们不仅仅停留在结构和功能上，而且还关注了BG在神经和精神方面的作用，例如PD和HD.在第2.2.2节中介绍的模型都不同程度地探讨了PD和HD的发病原因和具体病灶的位置，他们模型的行为与观察到的人类DA消耗与PD几种症状之间的关系一致，其中包括运动迟缓和运动机能减退，这两种症状通常被归入运动缺乏症的范畴，可以被视为运动决策和执行能力的缺陷.

在Gurney的模型实验中，分为三种情况讨论DA在PD中的作用：在DA水平较低的情况下，PD患者无法在选定的运动通道上适当释放GPi-SNr的强直抑制输出而导致的运动机能减退.与Gurney的选择-控制模型中选择通道的选择失败相一致.类似地，在DA水平中等的情况下，Gurney的模型中的选择限制可以迫使两个高度突出的通道相互对抗，从而导致两个通道的选择都比只有一个具有相同突出性的通道更弱，这表明PD患者（相对于对照组）在双运动任务上的表现比他们在单独任务上的表现更差.随着DA水平超过正常水平，他们的模型预测同时释放抑制（从而选择通道）的机会也会增加.他们预计两个相关行为之间会有快速的转换，而不是真正地进行行为选择.这可能会导致其他病症，例如HD.

在Humphries的模型模拟中，改变模拟强直性DA的水平会导致选择和转换特性的恶化.DA耗竭后，模拟的SNr输出没有充分减少到信号选择状态，这意味着很难启动运动.增加模拟DA会导致SNr输出仍然受到抑制，即使引入了一个相互竞争的显著动作，这意味着无法切换到一个新的动作.这与全身或STR内注射DA兴奋剂或STR内注射非选择性多巴胺激动剂后大鼠表现出的行为定势相一致.因此，模型中DA耗竭和多巴胺过量的影响都与这些操作的已知行为影响一致.

在Frank的认知决策模型中尝试将PD的各种认知缺陷联系在一起.具体地说，他们的模型假定在误差反馈期间DA的阶段性变化对于在BG中调制促进或抑制运动命令执行的Go/NoGo表示是至关重要的.因此，在正反馈和负反馈过程中，DA的爆发和下降会不同程度地驱动对刚刚执行的反应的学习.Frank等人的实验也支持了对模型的核心预测，即停药的PD患者在从正强化到负强化的学习上受损，而没有停药的相同患者则表现出相反的学习偏差模式.在Frank的模型中，模拟的非药物PD状态显示了负性的增强，而不是正性的，强化学习和模拟的DA药物可以逆转这种偏差.而且Frank的模型还表明，通过以不自然的高频率刺激STN，深度脑刺激（Deep brain stimulation，DBS）有效地消除了STN的动态功能（类似于病变），因此消除了全局NoGo信号.在训练过程中，完整的网络学习如何在概率分类任务中做出响应，就像健康的参与者一样.当模型SNc的DA层75%的单元受到损伤，以模拟PD患者的损伤程度时，模型的损伤程度与患者相似.

在Wang的模型中，BG连接的变化与PD中的变化相似，会导致强烈的β振荡.具体来说，β振荡是由间接通路中STN和GPe相互作用的异常增强引起的，其振荡频率取决于对STN的兴奋性皮层输入和STR对GPe的抑制性输入.在以显著β振荡为特征的PD状态下，与正常状态相比，平均反应时间和阈值变化范围（一种行为灵活性的测量）显著减少.以此为背景，在他们的仿真过程中研究了正常状态是如何转变成一个PD状态（增强的β振荡）.其实，振荡是在STN-GPe子回路中产生的.为了模拟PD状态，需要将STN-GPe回路中的突触效率更新为另一组值.因此，Wang的研究揭示了PD相关的知觉决策障碍的一种特殊的回路机制.

另外，在文献［

80］中，研究者建立了STN、GPe和GPi之间相互作用的神经元群网络模型，对其动力学分岔行为进行了分析.仿真结果表明该系统具有三类不同的动力学现象：单稳态、双稳态和振荡状态.通过分析该模型动力学特性，有助于研究者们更加深入地理解BG与PD的致病机理，同时给相关神经系统疾病的研究提供依据.

5 讨论

本综述首先从BG的生物背景入手，简要概述BG的功能解剖和当下对BG通路的主流研究结构和思路.其次，介绍了有关BG决策模型的主要竞争机制，即WTA和ART竞争学习机制.在此基础之上根据主流学派的建模思路的侧重点，着重介绍了Gurney的选择-控制模型、Humphries的神经元群模型、Frank的认知决策模型、Wang的决策选择模型和Rabinovich的相空间动力学选择模型.进而对皮质-BG回路的行为决策的神经底物和有关BG的大脑疾病进行了探讨.通过对上述内容的纵向梳理和横向比较，给我们带来了一些思考.

首先，基于BG的决策模型的研究趋势越来越明朗了.通过回顾2.2.2节中的决策模型，多数模型都是采用了更符合生物学实际的神经元模型，同时采用计算密集的神经回路模型或单个神经元的房室模型，例如在文献［

81］中作者通过快慢动力学研究了两房室神经元模型的簇放电模式，探究了神经元的编码问题.在神经调节剂的模拟中，常考虑STR中强直性DA水平的不断变化，行为决策也呈现出三种不同的机制：①高水平的DA，在模型模拟中倾向于最优（最高）的输出（类似于GO）；②中等水平的DA，模型倾向于选择非最优行为，在不同的实验中也表现出不同的决策（类似于探索过程）；③低水平的DA，模型不会做出任何选择（类似于NoGo）.这三点构成了基于BG的决策模型进行探索性行为选择的动力学基础.最近在决策模型中常考虑的另一种神经调节剂：血清素，也表现出了三种不同的决策机制：①风险敏感决策，即血清素控制决策风险的评估；②时间奖励预测，即血清素控制奖励预测的时间尺度；③奖惩敏感性，即预测的误差情况取决于血清素水平.在Rabinovich的决策模型中，没有考虑生物本身具体的性质，而是从网络系统的层面，利用神经回路的动力学模型，将决策状态问题转换为形空间轨线状态的变化.

其次，通过对不同研究者的建模结构和建模思路的比较.在基于BG的决策模型结构组织方面，不难发现，大多数理论家认为，BG各结构之间的纤维束连接产生了不同的路径，这些路径履行不同的功能.一方面，他们大多同意BG的直接通路激活特定的皮质表征，但间接和超直接通路的功能仍在激烈争论中.一般来说，行为选择假设是基于输出核的BG直接和间接通路的联合作用，而超直接通路主要作为一个全局停止信号.另一方面，虽然不同模型在以间接通路与超直接通路为基础的周围抑制的机制不同（一些研究者是通过间接通路来实现抑制，另一些研究者是通过超直接通路来实现抑制），但是它们的效果基本相同（激活中央皮质表征，而抑制其周围表征，即竞争对手）.在过去几十年开发的BG模型大多不包含所有3种主要通路.而且除了从直接通路、间接通路和超直接通路的角度研究皮质-BG的信息流的处理方式外，还有研究者从并行回路的角度来研究.

所以这就留给了我们以下两个问题：①皮质-BG回路是如何组织的？我们已经清楚，在BG核内，从大脑皮层感觉区域传入到BG的信息流，经过STR和STN传入，再经GPi-SNr传出，通过丘脑回到皮层.但是这种多信息的输入和单信息的输出的并行处理方式，在各通路之间是否有严格的分界，是否有重叠区域，如果有重叠又位于什么结构内，BG对信息流的汇聚输入和输出的收敛处理的功能是如何实现的，都还不得而知.而在BG核外，CB在大脑决策过程中起到什么样的作用呢？虽然来自BG和CB的信息独立地到达运动皮质，在丘脑中没有相互作用.但是不能排除通过丘脑中间神经元和丘脑网状核的两个输入之间的局部相互作用的可能性，BG和CB之间的相互作用也通过CB-丘脑-STR途径被提出.②现有的以直接通路和间接通路为基础的决策模型是否合理呢？首先，最近提出的超直接通路通过STN接收直接的皮层输入，传递强烈的兴奋信号，传导速度快于直接通路和间接通路这已经是个不争的事实.其次，在间接通路中，GPe不仅将GABA投射到GPi-SNr，还通过局部轴突脉络将GABA投射到STR和GPe本身.因此，GPe可以看作是一个中央核投射到BG内的多个位置.这也是本文1.3.1节中把间接通路进一步分为长间接通路和短间接通路的依据.再者，STN和GPe通过STN-GPe兴奋性和GPe-STN抑制性投射有密切的联系，STN和GPe相互耦合，共同对决策过程起作用.

再者，基于BG的行为决策模型的建立和研究，除了对健康者的大脑结构和功能的探索外，对于具有大脑疾病的患者的发病机制的探索也至关重要，例如在第4.2节中提到的PD疾病.虽然PD的患病机制和治疗方法还不太清楚，但在决策模型的研究过程中发现，DBS对PD患者的治疗的性能与电极位置有关，随着电极位置的改变，模型会从基于奖励的学习转向基于惩罚的学习.所以建立计算模型的目的之一就是了解某些大脑疾病的病理机制，帮助其诊断和治疗.

最后，除了本文提到的一些在决策方面研究起步比较早的模型，近几年，

Magdoom等人（2011）还提出了BG在PD伸展运动中的作用模型^{［参考文献 82

百度学术}82］.该模型是在强化学习的框架下构建的，主要研究运动皮层和BG之间的相互作用.该模型使用了与Frank类似的BG路径的经典解释，即直接通路（Go）促进运动，而间接通路（NoGo）抑制运动.这两种通路之间的转换被认为是由STR的DA水平驱动的.不同的是，Magdoom等人（2011）还通过添加一个称为探索机制的中间机制，偏离了传统的BG的Go/NoGo模式^{［参考文献 82

百度学术}82］.模拟结果表明，在DA缺乏的情况下，模型在Go状态下花费的时间更少，而在其余两个状态下花费的时间更多.这些状态变化被用来解释PD患者伸展运动受损的各种特征.Guthrie等人（2013）提出了另一个有趣的概率学习模型^{［参考文献 83

百度学术}83］，他们的模型基于BG的早期计算神经科学模型，该模型关注的是直接通路和超直接通路之间的相互作用^{［参考文献 84

百度学术}84］.该模型包括两个皮质-BG闭环，它们在STR中相互作用.第一个环路称为认知环路，用于识别概率学习任务中使用的视觉符号.第二个环路称为运动环路，用于根据观察到的符号选择响应.一些皮质STR投射物会影响两个环路，但其余的环路是分离的.在这两个环路中，直接通路负责选择正确的通道（即识别符号或响应），而超直接路径向GPi发送非特定抑制以产生中心-周围决策过程.所有的皮质STR突触都是可塑的（利用DA介导的强化学习），认知环路逐渐学会偏向运动环路，从而产生更快的反应时间.该模型成功地再现了双臂强盗任务中的神经反应率和行为数据.

以往的皮层-BG的通路之间相互作用的计算模型主要集中在模拟静态环境中的认知过程、学习或简单行为选择，而不考虑认知因素可能如何影响运动动作.未来的决策模型应该模拟大脑皮层是如何表示多个输入（包括感知和认知），这些输入是反馈给BG的，这对于行为决策很重要.未来的模型也应该更为动态，将多个通路整合到一起，它们相互作用的同时也能各司其职，这样它们就可以不断地从环境中接收和更新感知输入，并产生运动输出，然后将模型转换为更加完整，更加连续，更加真实的系统.例如在文献［

85］中，作者利用STDP（Spike Timing Dependent Plasticity）学习规则研究了视网膜神经回路的特性.而在文献［86］中，作者研究了基于学习的多目标脑决策模型，多信息和多目标的信息处理，是更符合大脑决策的现实情况，这也是未来对决策模型和人工智能研究的一个重要方向.换句话说，为了做出一个最佳的决策，大脑需要权衡所有可用的选项，将它们与当前的目标进行比较，并选择最有价值的选项，即要么选择最有价值的选择，要么确保安全（即利用），要么尝试新的选择（即探索）.

参考文献

Cohen M X，Frank M J. Neurocomputational models of basal ganglia function in learning，memory and choice. Behavioural Brain Research，2009，199（1）：141~156 [百度学术]

Sebastien H，Srinivasa C，Moustafa A A. Exploring the cognitive and motor functions of the basal ganglia：an integrative review of computational cognitive neuroscience models. Frontiers in Computational Neuroscience，2013，7：174 [百度学术]

Atsushi N，Hironobu T，Ikuma H，et al. Excitatory cortical inputs to pallidal neurons via the subthalamic nucleus in the monkey. Journal of Neurophysiology，2000，84（1）：289~300 [百度学术]

Nambu A，Takada M，Inase M，et al. Dual somatotopical representations in the primate subthalamic nucleus：evidence for ordered but reversed body-map transformations from the primary motor cortex and the supplementary motor area. The Journal of Neuroscience，1996，16（8）：2671~2683 [百度学术]

Gerfen C，Engber T，Mahan L，et al. D1 and D2 dopamine receptor-regulated gene expression of striatonigral and striatopallidal neurons.Science，1990，250（4986）：1429~1432 [百度学术]

Nambu A，Tokuno H，Takada M. Functional significance of the cortico-subthalamo-pallidal 'hyperdirect' pathway. Neuroscience Research，2002，43（2）：111~117 [百度学术]

DeLong M R， Georgopoulos A P. Motor Functions of the Basal Ganglia. New York： John Wiley & Sons， Inc，2011：1017~1061 [百度学术]

Mugnaini E，Oertel W H. Immunocytochemical studies of GABAergic neurons in rat basal ganglia and their relations to other neuronal systems. Neuroscience Letters，1984，47（3）：233~238 [百度学术]

Albin R L，Young A B，Penney J B. The functional-anatomy of basal ganglia disorders. Trends in Neurosciences，1989，12（10）：366~375 [百度学术]

Delong M R. Primate models of movement disorders of basal ganglia origin. Trends in Neurosciences. 1990：13（7）： 281~285 [百度学术]

Alexander G E，DeLong M R，Strick P L. Parallel organiz- ation offunctionally segregated circuits linking basal ganglia and cortex. Annual Reviews in Neuroscience，1986，9：357~381 [百度学术]

Delong M，Wichmann T. Changing views of basal ganglia circuits and circuit disorders. Clinical EEG and Neuroscience，2010，41（2）：61~67 [百度学术]

Henning S，Hamker F H. Computational models of basal-ganglia pathway functions：focus on functional neuroanatomy. Frontiers in Systems Neuroscience，2013，7：122 [百度学术]

Contreras-Vidal J L，Stelmach G E . Effects of Parkins- onism on motor control. Life Sciences，1996，58（3）：165~176 [百度学术]

Schroll H，Vitay J，Hamker F H. Dysfunctional and compensatory synaptic plasticity in Parkinson's disease. European Journal of Neuroscience，2014，39（4）：688~702 [百度学术]

Brown J W，Bullock D，Grossberg S. How laminar frontal cortex and basal ganglia circuits interact to control planned and reactive saccades. Neural Networks，2004，17（4）：471~510 [百度学术]

Gillies A J，Willshaw D J. A massively connected subth- alamic nucleus leads to the generation of widespread pulses. Proceedings of the Royal Society B：Biological Sciences，1998，265（1410）：2101~2109 [百度学术]

Frank M J. Hold your horses： a dynamic computational role for the subthalamic nucleus in decision making. Neural Networks，2006，19（8）：1120~1136 [百度学术]

Baston C，Ursino M. A biologically inspired computa- tional model of basal ganglia in action selection. Computational Intelligence and Neuroscience，2015，2015（4）：187417 [百度学术]

Stocco A，Lebiere C，Anderson J R.Conditional routing of information to the cortex： a model of the basal ganglia's role in cognitive coordination. Psychological Review，2010，117（2）：541~574 [百度学术]

Frank M J，Samanta J，Moustafa A A，et al. Hold your horses：impulsivity， deep brain stimulation， and medication in parkinsonism. Science，2007， 318（5854）：1309~1312 [百度学术]

Aron A R. From reactive to proactive and selective control：developing a richer model for stopping inappropriate responses. Biological Psychiatry，2011，69（12）：55~68 [百度学术]

Wiecki T V，Frank M J. A computational model of inhibitory control in frontal cortex and basal ganglia. Psychological Review，2013，120（2）：329~355 [百度学术]

Gurney K，Prescott T J，Redgrave P. A computational model of action selection in the basal ganglia. I. A new functional anatomy. Biological Cybernetics，2001，84（6）：401~410 [百度学术]

Humphries M D，Stewart R D，Gurney K N. A physiologically plausible model of action selection and oscillatory activity in the basal ganglia. Journal of Neuroscience，2006，26（50）：12921~12942 [百度学术]

Alexander G E， Crutcher M D. Functional architecture of basal ganglia circuits：Neural substrates of parallel processing. Trends in Neurosciences，1989，13（7）：266~271 [百度学术]

Joel D，Weiner I. The connections of the dopamineergic system with the striatum in rats and primates：an analysis with respect to the functional and compartmental organization of the striatum. Neuroscience，2000，96（3）：451~474 [百度学术]

Nambu A. A new dynamic model of the cortico-basal ganglia loop. Progress in Brain Research，2004，143：461~466 [百度学术]

Gurney K，Prescott T J，Redgrave P. A computational model of action selection in the basal ganglia. II. Analysis and simulation of behaviour. Biological Cybernetics，2001，84（6）：411~423 [百度学术]

Lévesque M，Parent A. The striatofugal fiber system in primates： a reevaluation of its organization based on single-axon tracing studies. Proceedings of the National Academy of Sciences，2005，102（33）：11888~11893 [百度学术]

Kita H，Kita T. Cortical stimulation evokes abnormal responses in the Dopamine-Depleted rat basal ganglia. Journal of Neuroscience，2011，31（28）：10311~10322 [百度学术]

Redgrave P. The basal ganglia：a vertebrate solution to the selection problem？ Neuroscience，1999，89（4）：1009~1023 [百度学术]

Houk J C. A model of how the basal ganglia generate and use neural signals that predict reinforcement. In： Models of Information Processing in the Basal Ganglia， MITP， 1994， 249~270 [百度学术]

Baldassarre G. A modular neural-network model of the basal ganglia's role in learning and selecting motor behaviours. Cognitive Systems Research，2002，3（1）：5~13 [百度学术]

Fukai T，Tanaka S. A simple neural network exhibiting selective activation of neuronal ensembles： From Winner-Take-All to Winners-Share-All. Neural Computation，1997，9（1）：77~97 [百度学术]

Bernsz S，Sejnowskil T J. How the basal ganglia make decisions. Damasio A R， Damasio H， Christen Y. Neurobiology of decision-making. Berlin： Springer，1996 [百度学术]

Humphries M D，Gurney K N. The role of intra-thala mic and thalamocortical circuits in action selection. Network：Computation in Neural Systems， 2002，13（1）：131~156 [百度学术]

Grossberg S. Adaptive pattern classification and univer- sal recoding：I. Parallel development and coding of neural feature detectors. Biological Cybernetics，1976，23（3）：121~134 [百度学术]

Grossberg S. Adaptive pattern classification and univer- sal recoding. II：Feedback，expectation，olfaction，illusions. Biological Cybernetics，1976，23（4）：187~202 [百度学术]

Carpenter G A，Grossberg S. A massively parallel archit- ecture for a self-organizing neural pattern recognition machine. Computer Vision， Graphics， and Image Processing， 1987，37（1）： 54~115 [百度学术]

Carpenter G A，Grossberg S. ART 2：self-organization of stable category recognition codes for analog input patterns. Applied Optics，1987，26（23）：4919~4930 [百度学术]

Carpenter G A，Grossberg S. ART 3：Hierarchical search using chemical transmitters in self-organizing pattern recognition architectures. Neural Networks，1990，3（2）：129~152 [百度学术]

Wickens J R，Alexander M E，Miller R. Two dynamic modes of striatal function under dopaminergic-cholinergic control：Simulation and analysis of a model. Synapse （New York），1991，8（1）：1~12 [百度学术]

Wickens J R，Arbuthnott G W. Chapter 21 The cortico- striatal system on computer simulation： an intermediate mechanism for sequencing of actions. Progress in Brain Research，1993，99：325~339 [百度学术]

Jeff W. Basal ganglia：structure and computations. Network：Computation in Neural Systems，1997，8（4）：R77~R109 [百度学术]

Houk J C，Wise S P. Feature article：Distributed modular architectures linking basal ganglia，cerebellum，and cerebral cortex：Their role in planning and controlling action. Cerebral Cortex， 1995，5（2）：95~110 [百度学术]

Houk J C. Agents of the mind. Biological Cybernetics，2005，92（6）：427~437 [百度学术]

Gurney K N，Prescott T J，Redgrave P. The basal ganglia viewed as an action selection device. In： ICANN 98. London：Springer，1998 [百度学术]

Arbib M A. The handbook of brain theory and neural networks. London： The MIT Press，1995 [百度学术]

Gurney K N，Overton P G. A model of short and long range selective processing in neostriatum. Neurocompu- ting，2004，58-60：555~562 [百度学术]

Adam T，Eleni V，Christian B，et al. Transient and steady-state selection in the striatal microcircuit. Frontiers in Computational Neuroscience，2014，7：192 [百度学术]

Izhikevich E M. Simple model of spiking neurons. IEEE Transactions on Neural Networks，2003，14（6）：1569~1572 [百度学术]

Gurney K N，Humphries M D，Redgrave P，et al. A new framework for cortico-striatal plasticity：behavioural theory meets in vitro data at the reinforcement-action interface. PLoS Biology，2015，13（1）：e1002034 [百度学术]

Mogenson G，Jones D，Yim C. From motivation to action：Functional interface between the limbic system and the motor system. Progress in Neurobiology，1980，14（2-3）：69~97 [百度学术]

Reynolds J N J，Wickens J R. Dopamine-dependent plasticity of corticostriatal synapse. Neural Networks，2002，15（4-6）：507~521 [百度学术]

Murer M G，Riquelme L A，Tseng K Y，et al. D1-D2 dopamine receptor interaction：an in vivo single unit electrophysiological study. Neuroreport， 1997，8（3）：783 [百度学术]

Brown P，Kupsch A， Magill P J，et al. Oscillatory local field potentials recorded from the subthalamic nucleus of the alert rat. Experimental Neurology，2002，177（2）：581~585 [百度学术]

Magill P，Sharott A，Bolam J，et al. Brain state-dependency of coherent oscillatory activity in the cerebral cortex and basal ganglia of the rat. Journal of Neurophysiology，2004，92（4）：2122~2136 [百度学术]

Humphries M D，Prescott T J. The ventral basal ganglia，a selection mechanism at the crossroads of space，strategy，and reward. Progress in Neurobiology，2010，90（4）：385~417 [百度学术]

Mark H. Dopaminergic control of the exploration exploitation trade-off via the basal ganglia. Frontiers in Neuroscience，2012，6：9 [百度学术]

Frank M J，Loughry B，O'Reilly R C. Interactions between frontal cortex and basal ganglia in working memory： a computational model. Cognitive Affective & Behavioral Neuroscience，2001，1（2）：137~160 [百度学术]

O'Reilly R C，Munakata Y. Computational explorations in cognitive neuroscience：understanding the mind by simulating the Brain. London： The MIT Press， 2000 [百度学术]

Frank M J. Dynamic dopamine modulation in the basal ganglia： a neurocomputational account of cognitive deficits in medicated and non-medicated parkinsonism. London： MIT Press，2005 [百度学术]

Stewart T C，Trevor B，Chris E. Learning to select actions with spiking neurons in the basal ganglia. Frontiers in Neuroscience，2012，6：2 [百度学术]

Lo C C，Wang X J. Cortico-basal ganglia circuit mechanism for a decision threshold in reaction time tasks. Nature Neuroscience，2006，9（7）：956~963 [百度学术]

Gold J I，Shadlen M N. Banburismus and the brain：Decoding the relationship between sensory stimuli，decisions，and reward.Neuron，2002，36（2）：299~308 [百度学术]

Brown E，Gao J，Holmes P，et al. Simple neural networks that optimize decision. International Journal of Bifurcation and Chaos，2005，15（3）：803~826 [百度学术]

John P，Huk A C，Shadlen M N. The effect of stimulus strength on the speed and accuracy of a perceptual decision. Journal of Vision，2005，5（5）：376~404 [百度学术]

Wei W，Rubin J E，Wang X J. Role of the indirect pathway of the basal ganglia in perceptual decision making. Journal of Neuroscience，2015，35（9）：4052~4064 [百度学术]

Smith G D，Cox C L，Murray S S，et al. Fourier analysis of sinusoidally driven thalamocortical relay neurons and a minimal integrate-and-fire-or-burst model. Journal of Neurophysiology，2000，83（1）：588~610 [百度学术]

Rabinovich M I，Volkovskii A，Lecanda P，et al. Dynamical encoding by networks of competing neuron groups：winnerless competition. Physical Review Letters，2001，87（6）：068102 [百度学术]

Varona P，Rabinovich M I，Selverston A I，et al. Winnerless competition between sensory neurons generates chaos： a possible mechanism for molluscan hunting behavior. Chaos，2002，12（3）：672~677 [百度学术]

Levi R，Varona P，Arshavsky Y I，et al. Dual sensory-motor function for a molluskan statocyst network. Journal of Neurophysiology，2004，91（1）：336~345 [百度学术]

Rabinovich M I，Huert，Ramón，et al. Dynamics of sequential decision making. Physical Review Letters，2006，97（18）：188103 [百度学术]

Houk J C. Neurophysiology of frontal-subcortical loops. Lichter D G， Cummings J L. Frontal-subcortical circuits in psychiatry and neurology， New York： Guilford Publications， 2001 [百度学术]

Houk J C，Bastianen C，Fansler D，et al. Action selection and refinement in subcortical loops through basal ganglia and cerebellum. Philosophical Transactions of the Royal Society B：Biological Sciences，2007，362（1485）：1573~1583 [百度学术]

Humphries M D，Gurney K，Prescott T J. Is there a brainstem substrate for action selection？ Philosophical Transactions of the Royal Society B： Biological Science，2007，362（1485）：1627~1639 [百度学术]

汪雷，刘深泉.大脑中神经回路的电位发放比较.动力学与控制学报，2010， 8（3）：277~283 [百度学术]

Wang L，Liu S Q. Comparison of potential firing in brain neural circuit. Journal of Dynamics and Control，2010， 8 （3）： 277~283 （in Chinese） [百度学术]

Blandini F. An update on the potential role of excitotox- icity in the pathogenesis of Parkinson disease. Functional Neurology，2010，25（2）：65~71 [百度学术]

贾洪军，王江，于海涛.丘脑底核-苍白球神经元群网络模型的动力学分析.动力学与控制学报，2011， 9（4）：374~377 [百度学术]

Jia H J，Wang J，Yu H T. Dynamic behaviors of a neuron population model for subthalamic nucleus globuspallidum. Journal of Dynamics and Control，2011， 9 （4）：374~377（in Chinese） [百度学术]

孟盼，陆启韶，赵勇，等.两房室神经元模型的同步簇放电的动力学分析.动力学与控制学报，2016，14（6）：566~570 [百度学术]

Meng P，Lu Q S，Zhao Y，et al. Dynamic analysis of synchronous bursting in two compartment neuron model. Journal of Dynamics and Control，2016，14 （6）：566~570 （in Chinese） [百度学术]

Magdoom K N，Subramanian D，Chakravarthy V S，et al. Modeling basal ganglia for understanding parkinsonian reaching movements. Neural Computation，2011，23（2）：477~516 [百度学术]

Guthrie M，Leblois A，Garenne A，et al. Interaction between cognitive and motor cortico-basal ganglia loops during decision making： a computational study. Journal of Neurophysiology， 2013，109（12）：3025~3040 [百度学术]

Leblois A. Competition between feedback loops underlies normal and pathological dynamics in the basal ganglia. Journal of Neuroscience，2006，26（13）：3567~3583 [百度学术]

杨师华，刘深泉，詹飞彪，等.基于STDP学习规则的视网膜神经回路的特性.动力学与控制学报，2019，17（2）：127~135 [百度学术]

Yang S H， Liu S Q，Zhan F B，et al. Characteristics of retinal neural circuits based on STDP learning rule. Journal of Dynamics and Control，2019，17 （2）：127~135（in Chinese） [百度学术]

叶伟杰，刘深泉.基于学习的多目标脑决策模型研究.动力学与控制学报，2018，16（1）：72~79 [百度学术]

Ye W J，Liu S Q. Research on learning-based multiple choice decision⁃making model of brain. Journal of Dynamics and Control，2018，16 （1）：72~79（in Chinese） [百度学术]

基于基底神经节机理的行为决策模型

摘要

关键词

引言

1 基底神经节解剖结构和功能团块

1.1　基底神经节的解剖结构

1.2　基底神经节的功能团块

1.3　BG的功能连接和神经回路

2 行为决策模型

2.1　行为决策模型的竞争学习机制

2.2　基底神经节行为决策模型介绍

3 皮质-BG环路行为决策的神经底物探索

3.1　小脑在BG决策模型中的作用

3.2　脑干在BG决策模型中的作用

4 BG行为决策与大脑疾病

4.1　大脑疾病-帕金森病(PD)

4.2　行为决策模型和帕金森病

5 讨论

参考文献

微信公众号二维码

手机版网站二维码

基于基底神经节机理的行为决策模型

摘要

关键词

引言

1 基底神经节解剖结构和功能团块

1.1 基底神经节的解剖结构

1.2 基底神经节的功能团块

1.3 BG的功能连接和神经回路

2 行为决策模型

2.1 行为决策模型的竞争学习机制

2.2 基底神经节行为决策模型介绍

3 皮质-BG环路行为决策的神经底物探索

3.1 小脑在BG决策模型中的作用

3.2 脑干在BG决策模型中的作用

4 BG行为决策与大脑疾病

4.1 大脑疾病-帕金森病(PD)

4.2 行为决策模型和帕金森病

5 讨论

参 考 文 献

微信公众号二维码

手机版网站二维码

1.1　基底神经节的解剖结构

1.2　基底神经节的功能团块

1.3　BG的功能连接和神经回路

2.1　行为决策模型的竞争学习机制

2.2　基底神经节行为决策模型介绍

3.1　小脑在BG决策模型中的作用

3.2　脑干在BG决策模型中的作用

4.1　大脑疾病-帕金森病(PD)

4.2　行为决策模型和帕金森病

参考文献