一张从多种内嗅输入中学习得到的预测性地图,解释了海马体位置细胞根据上下文进行重组的作用

《Frontiers in Computational Neuroscience》:A predictive map learned from diverse entorhinal inputs explains the role of context-dependent reorganization of hippocampal place cells

【字体: 大 中 小 】 时间:2026年05月12日 来源:Frontiers in Computational Neuroscience 2.3

编辑推荐:

  **摘要** 海马体被认为通过构建环境的预测性表征来支持空间记忆和导航。预测性地图理论将这一功能形式化为“后继表征”(Successor Representation,简称SR)。然而,现有模型假设位置场的分布是固定且均匀的,尽管实验发现位置细胞的密度会受到奖励和物体的动态调

  **摘要**
海马体被认为通过构建环境的预测性表征来支持空间记忆和导航。预测性地图理论将这一功能形式化为“后继表征”(Successor Representation,简称SR)。然而,现有模型假设位置场的分布是固定且均匀的,尽管实验发现位置细胞的密度会受到奖励和物体的动态调节。在这里,我们提出了一个受生物学启发的神经模型,在该模型中,预测性地图是从多样化的内嗅核输入中产生的。在该模型中,类似位置细胞的表征是通过内侧内嗅核的空间信号和外侧内嗅核的上下文及动机信号的非负稀疏编码生成的,并随后使用后继特征转换为预测性地图。通过将预测性地图与“演员-评论家”框架(Actor-Critic Framework)相结合,该模型支持在连续环境中的目标导向导航。此外,该模型还再现了海马体表征的经验依赖性重构,包括在二维环境中以物体为中心的位置场过表示以及在了一维环境中以奖励为中心的位置场过表示。这些结果共同表明,海马体的预测性地图可以由多样化的内嗅核输入整合而成,为空间信息、上下文信息和动机信息如何共同塑造海马体表征和行为提供了统一的解释。

**1 引言**
空间记忆和导航是基本的认知功能,使动物能够理解其环境并调整其行为。这些功能主要由海马体和内嗅皮层(Entorhinal Cortex,简称EC)支持。在这些区域中,海马体包含位置细胞,当动物处于特定位置时,这些位置细胞会选择性激活,这些位置被称为位置场(O'Keefe和Dostrovsky,1971)。每个位置细胞都有其偏好的位置,整个位置细胞群体的活动共同编码了动物的当前位置(O'Keefe,1976)。这种群体活动被认为构成了一个内部空间地图(O'Keefe和Nadel,1978)。EC为海马体提供多样化的空间和上下文输入。在内侧内嗅皮层(Medial Entorhinal Cortex,简称MEC)中,网格细胞表现出以六边形格子排列的周期性放电场(Hafting等人,2005),而边界细胞则编码与环境边界的接近程度(Solstad等人,2008)。相比之下,外侧内嗅皮层(Lateral Entorhinal Cortex,简称LEC)被认为传递与任务相关的非空间信息,如奖励和物体(Issa等人,2023;Deshmukh和Knierim,2011)。通过整合EC的这些异构输入,海马体的位置细胞被认为构建了一个包含几何结构、环境特征和动机意义的统一空间表征。

实验研究表明,位置细胞不仅编码动物的当前位置,还编码未来的运动轨迹(Mehta等人,2000;Alvernhe等人,2011)。为了解释位置细胞活动的预测性质,Stachenfeld等人(2017)提出海马体作为预测性地图发挥作用,这种地图被形式化为“后继表征”(SR)(Dayan,1993),这一概念受到强化学习(Reinforcement Learning,简称RL)理论的启发。SR表示从给定状态开始,每个状态在未来被访问的预期频率,从而捕捉环境的预测结构。预测性地图理论为解释之前难以解释的各种实验发现提供了一个统一的框架。最近的研究探索了海马体回路中预测性地图的生物学上可行的实现方式(Fang等人,2023;Bono等人,2023;George等人,2023)。值得注意的是,George等人(2023)证明,theta相位进动(O'Keefe和Recce,1993)和基于尖峰时序的可塑性(Spike-Timing Dependent Plasticity,简称STDP)(Bi和Poo,1998)这两种在海马体中观察到的生理现象,可以从连续环境中海马体CA3位置细胞的活动近似出SR。他们的模型通过理论上将STDP和theta相位进动联系起来做出了重要贡献——这两种机制之前被认为是独立于SR学习的。

然而,现有的海马体预测性地图模型假设位置细胞的空间位置是预先定义的(Fang等人,2023;Bono等人,2023;George等人,2023)。在这些模型中,SR是在一组固定的位置场上学习的,隐含地假设了环境的均匀和稳定的空间划分。相反,实验研究表明,海马体的位置细胞在空间中的分布并不一定均匀(Gauthier和Tank,2018;Vandrey等人,2021)。位置场密度可以受到上下文因素(如奖励或显著物体)的动态调节,导致行为相关位置的出现频率增加。这些观察结果表明,海马体中的预测性地图不应在一组预定的位置场上学习,而应该从EC的多样化输入中整合产生。因此,一个从EC输入构建预测性地图的模型可能提供对海马体功能的更现实的解释。这样的框架还有助于阐明强化学习背景下的不同EC细胞类型的机能角色。

在本研究中,我们提出了一种受生物学启发的神经模型,该模型从EC的多样化输入中学习类似SR的预测性地图。我们的模型包括两个阶段。首先,通过循环网络从内嗅核输入生成类似海马体位置细胞的表征,并对其进行非负稀疏编码(NSC)。其次,使用后继特征将这些表征转换为预测性表征。这一统一的框架再现了位置场的偏斜现象(Mehta等人,2000)。在此基础上,我们进一步证明该模型可以支持目标导向行为。通过将预测性地图与“演员-评论家”框架相结合,代理能够估计奖励并计算状态值,从而在连续环境中实现空间导航。关键的是,我们的模型不假设位置场的固定空间组织。相反,通过结合LEC的上下文相关信号,它能够捕捉海马体表征的经验依赖性重构。在包含物体的二维环境中,该模型同样再现了以物体为中心的位置场过表示(Vandrey等人,2021)。在具有奖励的一维环境中,该模型再现了靠近奖励位置的位置细胞过表示(Gauthier和Tank,2018)。这些结果共同表明,预测性地图可以由多样化的EC输入整合而成,可能为空间信息、上下文信息和动机信息如何共同塑造海马体表征提供了统一的解释。

初步结果已在会议论文中发表(Kuniyoshi和Yamazaki,2025)。

**2 方法**
**2.1 模型架构概述**
所提出的模型由两个主要部分组成:一个模拟内嗅核-海马体回路的受生物学启发的神经网络,以及一个使代理能够在连续环境中学习的RL模块(图1)。神经网络的作用是从内嗅核输入计算空间预测性地图,随后RL模块使用该地图来学习价值函数和动作策略。
**图1** 模型的整体架构。橙色箭头表示突触连接,绿色箭头代表与RL模块相关的路径,黑色箭头表示整体输入和输出。

神经网络包含三层:内嗅核输入层、稀疏编码层和预测性地图层。输入层包含四种类型的内嗅核信号:(1)来自MEC的网格细胞活动,(2)传达与环境边界接近程度的边界调节输入(仅在二维环境中实现),(3)来自LEC的与物体相关的活动(仅在二维环境中实现),以及(4)来自LEC的与奖励相关的活动(仅在一维环境中实现)。在没有明确奖励或物体线索的任务中,仅提供来自MEC的空间信号(网格细胞和边界调节输入)。稀疏编码层接收这些内嗅核信号并生成类似位置细胞的活动模式。然后,预测性地图层接收位置细胞活动并计算预测性表征,例如SR。这两层可能对应于海马体的不同子区域,如CA3和CA1。

稀疏编码层和预测性地图层的输出用于在RL模块中计算奖励向量、价值函数和动作策略。每个计算组件及其潜在机制将在以下部分中描述。

**2.2 内嗅皮层模型**
**2.2.1 内侧内嗅皮层中的网格细胞**
MEC中的网格细胞表现出六边形空间放电场,为海马体提供空间输入。在我们的模型中,这些网格细胞输入与边界调节的MEC输入(在二维环境中)以及来自LEC的与物体或奖励相关的输入(在以下小节中描述)相结合。为了实现MEC中的网格细胞,我们采用了Solstad等人(2006)和Lian和Burkitt(2021)的方法。具体来说,在二维环境(1米×1米)中,位于代理当前位置x = (x, y)的第i个网格细胞的放电活动gi(x)定义如下(公式1和2):
```
gi(x) = 1/3 * ∑_{j=1}^{3} [cos(4π√3λ(g)i * u_j * (x - x(g))]
gi(x) = 1/3 * ∑_{j=1}^{3} [cos(4π/3λ_i * u_j * (x - xi(g))]
```
其中,λ_i是网格间距,θ_i是网格方向,x(i) = (xi, yi)是网格相位,u_j是方向为2πj/3 + θ_i的单位向量。网格细胞的放电活动由三个独立参数决定:网格间距、网格方向和网格相位(图2A)。

**图2** MEC中的神经元活动。(A)MEC网格细胞的活动由三个参数唯一确定:网格间距(λ_i)、网格方向(θ_i)和网格相位(x(i))。(B)顶部:二维环境(1米×1米)中网格细胞活动的示例。(C)底部:一维环境(1米)中网格细胞活动的示例。(D)二维环境(1米×1米)中边界调节输入活动的示例。

根据之前的研究(Lian和Burkitt,2021),我们使用了基于大鼠实验观察结果的一组生物学上合理的参数(图2B)。最小网格间距λ_i设置为28厘米,与实验数据一致(Hafting等人,2005),并乘以1.42的因子(Stensola等人,2012),得到四种间距(28、39.76、56.46和80.17厘米)。为了引入多样性,使用了六种网格方向:0、60、120、180、240和300°。网格相位xi从区间[0, λ_i]内的五个等间距位置均匀选择。网格细胞的总数Ng是间距、方向和相数的乘积,即Ng = 4 × 6 × 25 = 600。

在时间t时,位于代理位置xt的Ng个网格细胞的活动向量表示为sg,t,定义如下(公式3):
```
sg,t = (g_1(x_t), ..., g_Ng(x_t))^{T}
```

除了二维环境,我们的模型还考虑了一维环境。Pr?ll等人(2018)证明,只要动物沿一致的方向移动,线性轨道上的网格细胞活动可以解释为二维六边形放电模式的一维切片。这表明即使在三维环境中,底层的二维表征也保持完整。

受这一发现的启发,我们通过将动物的y坐标限制为常数值y0,并沿直线x = (x, y0)评估二维网格细胞的响应来定义一维网格细胞活动。具体来说,一维环境中第i个网格细胞的活动由以下公式给出(公式4):
```
gi(x) = g_i((x, y_0))
```
在这种表述中,间距、方向和相位参数与二维情况相同,确保一维放电场自然地作为同一底层六边形格子的限制而出现(图2B)。这种方法使得在一维和二维环境中统一处理网格细胞编码,而无需引入额外的参数(图2B)。

**2.2.2 内侧内嗅皮层中的边界调节输入**
在二维环境中,我们额外引入了边界调节输入,用于编码与环境坐标边界相关的空间信号。这些输入并非旨在代表生物学上已识别的内嗅核细胞类型(如边界细胞(Solstad等人,2008),而是作为辅助输入提供额外的空间线索。在我们的模拟中,施加了周期性边界条件,意味着环境的相对边缘被视为拓扑等价的(即形成二维环面)。尽管网格细胞活动本质上是周期性的,但在有界坐标系中表示它会导致边界处的不连续性。因此,引入边界调节输入是为了通过告知代理这些不连续性发生的位置来减轻这种表征不连续性。因此,这些输入应该被视为一种建模工具,而不是生物神经元的直接模拟。在代理当前位置 x = (x, y) 处,第 i 个边界调谐输入的发射活动 bi(x) 定义如下(公式 5):
bi(x) =
??
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
?
0.83?exp(?min(x,L?x)2/2)·λ(b)·i
??exp(?(y?y(b))2/2)·λ(b)·i
??if θ(b)·i = 0,
0.83?exp(?min(y,L?y)2/2)·λ(b)·i
??exp(?(x?x(b))2/2)·λ(b)·i
??if θ(b)·i = 1,
bi(x) =
{
0.83?exp(?min(x,L?x)2/2)·λ(i)·i
??exp(?(y?y(i))2/2)·λ(i)·i
??if θ(i)·b = 0,
0.83?exp(?min(y,L?y)2/2)·λ(i)·i
??exp(?(x?x(i))2/2)·λ(i)·i
??if θ(i)·b = 1
(5)
其中,边界尺度 λ(b)i 表示空间感受野的大小。边界方向 θ(b)i 表示输入是对左右边界(θ(b)i = 0)还是上下边界(θ(b)i = 1)有反应。边界相位 x(b)i = (x(b)i, y(b)i 表示沿边界方向的偏好位置(图 2C)。L 表示二维环境的大小,min(x, L?x) 或 min(y, L?y) 计算到最近边界的最短距离(图 2D)。

边界调谐输入的总数为 Nb = 300。参数 λ(b)i 和 x(b)i 分别从 [0.08 m, 0.12 m] 和 [0 m, L m] 范围内均匀采样。边界方向 θ(b)i 被设置为一半的输入对左右边界有反应(θ(b)i = 0),另一半对上下边界有反应(θ(b)i = 1)。常数 0.83 的引入是为了使边界调谐输入的峰值活动与网格细胞相匹配。最后,所有边界调谐输入在时间 t 的活动向量表示为(公式 6):
sb,t = (b1(xt),?, bNb(xt))?

通过结合网格细胞和边界调谐输入的活动,MES 中的总体空间表示为(公式 7):
sm,t = (sg, tsb,t)
(7)

在一维环境中,不使用边界调谐输入。因此,MES 中的总体空间表示为 sm, t = sg, t。

2.2.3 外侧内嗅皮层的对象细胞活动
Deshmukh 和 Knierim(2011)报告说,LEC 中的一组神经元,称为对象细胞,展示了锚定在环境中放置的对象的空间局部化发射场。具体来说,当动物接近对象时,这些对象细胞会强烈响应,并在远离对象的位置显示出降低的活动(图 3A)。重要的是,Vandrey 等人(2021)证明了环境中对象的存在增加了在海马体 CA1 位置细胞中靠近这些对象时发射的比例。这些发现表明,由 LEC 对象细胞编码的对象相关信息可能导致位置细胞在对象附近过度代表。

图 3 LEC 中的神经元活动。
(A) LEC 对象细胞的感受野。上图:来自 Issa 等人(2023)的 bioRxiv 预印本的 LEC 对象细胞的实验记录感受野。下图:由提出的模型生成的 LEC 对象细胞的感受野。
(B) LEC 中与奖励相关的神经元的实验记录感受野,包括奖励前和奖励后的细胞,来自 Issa 等人(2023)的 bioRxiv 预印本。
(C) Deshmukh 和 Knierim(2011)在一维环境中对奖励前和奖励后细胞的建模感受野。

受这些实验发现的启发,我们在二维环境(1 m × 1 m)中对 LEC 对象细胞进行了建模。我们在固定位置 [(0.25 m, 0.25 m), (0.25 m, 0.75 m), (0.75 m, 0.75 m), (0.75 m, 0.75 m)] 放置了四个对象,并为每个对象细胞分配了一个在这些对象位置附近的偏好发射中心。第 i 个对象细胞在第 j 个对象位置 oj 的中心 ci,j 采样如下(公式 8):
ci,j = oj + ?i,j, ?i,j ~ U(?0.07 m, 0.07 m)
(8)
其中 ?i,j 表示第 j 个对象位置的扰动,U(a, b) 是从 a 到 b 的均匀分布。因此,每个对象细胞对四个对象中的每一个都有一个偏好位置,产生一组以对象为锚点的发射场。

第 i 个对象细胞在位置 x 的发射活动定义为以每个对象为中心的高斯场之和(公式 9):
oi(x) = ∑j=1 αi,j·exp(?||x?ci,j||2/2σi,j)
(9)
其中,尺度参数 αi,j 和感受野的大小 σi,j 分别独立采样为 αi,j ~ U(0.5 m, 1.0 m), σi,j ~ U(0.03 m, 0.06 m)(图 3A)。

设 No = 600 表示 LEC 对象细胞的总数。在代理的位置 xt,对象细胞的活动向量定义如下(公式 10):
so,t = (o1(xt),?, oNo(xt))?

尽管本研究依赖于以自我为中心的表示(Deshmukh 和 Knierim, 2011),但最近的研究也报告说,一些 LEC 神经元以以自我为中心的坐标编码对象位置并表现出方向选择性调谐(Wang 等人, 2018)。

2.2.4 外侧内嗅皮层的奖励细胞活动
Issa 等人(2023)证明,在线性轨道奖励学习任务中,LEC 中的不同神经元群体在奖励位置之前或之后表现出选择性活动(图 3B)。这些奖励前和奖励后的细胞被认为提供了与奖励期望和奖励消费相关的上下文依赖信号。

同时,Gauthier 和 Tank(2018)表明,奖励学习在一维环境中引起了海马体位置场的过度代表。LEC 中的奖励调节信号被认为有助于在海马体位置学习任务中观察到的以奖励为中心的位置场的过度代表。

受这些实验发现的启发,我们在一维环境中引入了两种类型的奖励调节输入:(1)在奖励之前立即激活的奖励前细胞,以及(2)在奖励之后立即激活的奖励后细胞。具体来说,第 i 个奖励前或奖励后细胞在位置 x 的发射活动 ri(x) 定义如下(公式 11-13):
ri(x) = exp(?(x?(r+δi))2/2σi)·Gi(x),
ri(x) =
??
?
?
?
?
1?S(x?(r+δi) (奖励前细胞),
1?S((r+δi)?xΔi) (奖励后细胞),
Gi(x) = {
1?S(x?(r+δi) (奖励前细胞),
1?S((r+δi)?xΔi) (奖励后细胞),
(12)
S(x) = 1/1 + e^(-x)
(13)
其中 δi ~ U(?0.05 m, 0.05 m) 是与奖励位置的偏移,σi ~ U(0.3 m, 0.6 m) 是感受野的大小,Δi ~ U(0.01 m, 0.05 m) 是奖励位置周围活动转变的锐度,Gi(x) 是门函数,S(x) 是 Sigmoid 函数。奖励前和奖励后细胞的发射活动由三个独立参数决定(图 3C)。

在第 i 个奖励前或奖励后细胞在代理当前位置 xt 的活动向量 Nr 定义如下(公式 14):
sr,t = (r1(xt),?, rNr(xt))?

尽管本研究采用了奖励前和奖励后细胞类型(Issa 等人, 2023),但最近的研究也报告说,LEC 中的奖励相关信息可能以空间结构化的方式表示(Bowler 和 Losonczy, 2023)。

2.3 稀疏编码层
稀疏编码层接收来自 MEC 和 LEC 的神经元活动,并使用 Lian 和 Burkitt(2021)提出的 NSC 模型生成位置细胞活动。该模型从网格细胞输入生成局部化和稀疏的位置细胞样活动。非负约束反映了两个生物学考虑:神经元发射率本质上是非负的,且从 MEC 到海马体锥体神经元的投影主要是兴奋性的。此外,Dong 等人(2021)报告说,CA1 位置细胞中的后向偏斜很明显,但在 CA3 位置细胞中基本不存在;因为 Lian 和 Burkitt 模型产生了类似 CA3 的位置细胞活动模式,所以我们采用了它作为稀疏编码层。

NSC 最小化以下成本函数(公式 15 和 16):
G(A,sh) = ||se?Ash||2/2 + β||sh||1
(15)
se,t =
??
?
?
?
?
sm,tsr,t
so,t
??
?
?
?
?,
se,t = (sm,tsr,t)
(16)
其中 se 是内嗅皮层输入向量,A 是一个 Ne×Nh 的基矩阵,Ne = Nm+Nr 是 EC 中的神经元数量,Nh 是稀疏编码层中的神经元数量,sh 是表示稀疏编码层中神经元活动的输出向量,β 是稀疏性正则化参数。项 ||·||1 和 ||·||2 分别表示 L1 和 L2 范数。第一项表示重建误差,第二项惩罚 sh 中的大值。对 A 和 sh 都施加了非负性约束。

为了最小化公式 15,采用了局部竞争算法(LCA)(Rozell 等人, 2008),可以以生物学启发的方式实现(公式 17 和 18):
uh,t+1 = uh,t+1τ(?uh,t+A?tse,t?Wtsh,t),
uh,t+1 = uh,t+1τ(-uh,t+At?se,t-Wtsh,t),
(17)
sh,t+1 = max(uh,t+1?β,0),
sh,t+1 = max(uh,t+1-β,0),
(18)
其中 τ = 10 是时间常数,Wt = A?tAt?IWt=At?At-I 表示海马体神经元之间的反馈抑制。稀疏编码层的学习时间尺度比预测映射层更快。因此,稀疏表示允许预测映射层从相对稳定的输入中学习。

基矩阵 At 通过以下类似 Hebb 的学习规则更新(公式 19 和 20):
āt+1 = āt+η(se,t?Atsh,t)s?h,t,
āt+1 = āt+η(se,t-Atsh,t)sh,t?,
(19)
āt+1 = max(āt+1,0),
āt+1 = max(āt+1,0)
(20)
其中 η 是学习率。每次更新后,A 的每一列都被归一化为单位 L2 范数。

2.4 预测映射层
预测映射层接收来自稀疏编码层的神经元活动 sh,并按以下公式计算预测表示 ph(公式 21):
ph,t = M?tsh,t,
(21)
其中 Mt 是时间 t 的 Nh×Nh 连接矩阵。这个计算对应于估计由稀疏编码层表示的状态的预期未来占用情况。连接矩阵 Mt 通过以下基于 TD 的学习规则更新(公式 22):
Mt+1 = Mt+ηsh,t[sh,t+γph,t+1?ph,t]?,
(22)
其中 η 和 γ 分别表示学习率和折扣因子。

所提出的公式与 SR 框架(Dayan, 1993; Stachenfeld 等人, 2017)密切相关。在经典的 SR 公式中,环境被离散化为有限的状态集,SR 矩阵 MSR(s,s′) 定义如下(公式 23):
MSR(s,s′) = E[∞∑t=0γtI(st=s′)|s0=s],
(23)
其中 I(·) 表示指示函数。SR 对从状态 s 开始的 s′ 的未来占用进行折扣编码。

更一般地,后继特征(SF)框架将这种公式扩展到连续状态表示(de Cothi 和 Barry, 2020; Bennett 等人, 2025)。设 ?(s) 表示状态 s 的特征表示。后继特征向量定义如下(公式 24):
ψ(s) = E[∞∑t=0γt?(st)|s0=s]。

在当前模型中,稀疏编码活动 sh,t 扮演特征表示 ?(s) 的角色,预测映射活动 ph,t 对应于后继特征向量 ψ(s)。因此,预测映射层可以解释为计算由稀疏编码层生成的分布式状态表示的后继特征。

2.5 强化学习模块
2.5.1 奖励估计
在 RL 模块中,即时奖励信号被映射到稀疏编码层中的位置细胞样活动上,从而得到定义在位置场中心上的即时奖励向量的估计。根据以下规则更新这个奖励向量:
Rt+1 = Rt+α[r(xt)sh,t?Rt]
(25)
其中 Rt 表示奖励向量的当前估计值,r(xt) 是在代理位置 xt 获得的标量奖励,sh,t 表示稀疏编码层的活动。参数 α 控制学习率。这个更新规则逐步调整 Rt 以接近奖励加权的位置细胞活动 r(xt)sh,t,从而实现空间表示和奖励之间的关联。值得注意的是,由于更新是在线进行的,因此当奖励位置改变时,奖励估计可以平滑适应。

2.5.2 状态值计算
使用从公式 25 获得的估计奖励向量 Rt,计算代理位置 xt 的状态值:
V(xt) = p?h,tRt,
(26)
其中 ph,t 表示预测映射层中的神经元活动。因为这个层编码了连续空间位置中的预期未来状态占用,所以得到的状态值自然扩展到连续空间位置。

2.5.3 策略学习
策略根据稀疏编码层的活动确定代理的动作。根据环境的维度,使用了两种类型的策略:一维高斯策略和二维群体向量策略。这两种策略都在相同的演员-评论家框架下进行训练,其中演员生成动作,评论家评估在公式 26 中计算的状态值,演员实现为多层感知器(MLP)。策略参数通过使用 TD 错误的策略梯度学习进行优化(公式 27 和 28):
Eloss = ?logπ(dt∣xt)δt,
(27)
δt = r(xt)+γV(xt+1)?V(xt),
(28)
其中 π 表示策略,δt 是 TD 错误。

2.5.3.1 二维策略
在二维环境中,演员实现为群体向量解码器以保持生物合理性。演员的 MLP 产生了 32 个方向权重,对应于均匀分布的运动方向 θk∈[0, 2π)。具体来说,演员由一个具有 LayerNorm 输入的两层 MLP 组成,后面是一个 Sigmoid 加权的线性单元激活和一个 softmax 输出(公式 29):
wt = f?(sh,t),
(29)
其中 wt = (wt, 1, ?, wt, 32) 表示归一化的方向权重,f?(·) 表示 MLP。平均运动方向 μt = (μt, x, μt, y) 被计算为一个群体向量(公式 30):
μt = dmax/32∑k=1wt,k(cosθk,sinθk),
(30)
其中 dmax = 0.1 m 表示最大步长。然后从 x 和 y 轴上的高斯策略中采样实际位移 Δxt = (Δxt, Δyt)(公式 31):
Δxt~N(μt,x,σ2), Δyt~N(μt,y,σ2),
(31)
其中 σ = 0.02 m。为了确保位移有界,采样的位移被剪该设计允许演员表现出平滑的方向偏好,类似于通过群体向量编码运动方向的运动皮层神经元(Georgopoulos等人,1982)。2.5.3.2 一维策略 在一维环境中,演员被实现为一个简单的高斯策略,用于确定代理沿x轴的位移Δxt。具体来说,MLP的输出层是策略均值μt(方程32):μt=f?(sh,t),其中f?(·)代表MLP。MLP使用了LayerNorm激活函数(一种修正线性单元)和tanh输出单元,确保动作值介于-1和1之间。然后将输出μt重新缩放到[dmin m, dmax m]范围内,其中dmin = 0.01 m,dmax = 0.1 m定义了最大移动步长。最终动作是从以μt为中心的高斯分布中抽样的(方程33):Δxt~N(μt,σ2),其中σ = 0.01 m是固定的标准差。为了确保移动有界,最小位移被限制在dmin m。这种简单的高斯策略对于一维任务来说已经足够,因为代理的运动被限制在一个空间维度上。3 结果3.1 从MEC输入构建预测地图和状态价值函数为了检验所提出的模型是否可以从MEC输入构建预测地图,我们模拟了一个代理在1mx1m的周期性二维环境中根据固定策略进行导航。代理主要以每步10厘米的恒定速度向上移动,而其头部方向则受到从标准正态分布中采样的小角度噪声的干扰。我们引入了一个向上的偏差,以检验位置场是否表现出向下的偏斜。然而,偏差的具体方向并不重要。稀疏编码层中的神经活动形成了分布在整个环境中的位置场(图4A),这与之前的研究结果一致(Lian和Burkitt,2021)。这些位置场中心覆盖了整个环境(图4B)。尽管实验研究表明位置场在环境边界附近会增强(例如,Tanni等人,2022),但模拟使用的是周期性边界条件而不是物理墙。因此,位置场的空间分布是由学习的稀疏表示决定的,并不一定能够再现与边界相关的增强。虽然稀疏编码层显示了对称的位置场,但预测地图层显示的位置场存在系统性偏斜(图4A)。由于代理主要向上移动,因此位置场向下偏斜,反映了沿体验轨迹的预测位置。这种现象可以被视为实验研究中观察到的线性轨道上位置场向后偏斜的二维类比(Mehta等人,2000),表明预测地图层编码了预测信息。图4 概述了稀疏编码层和预测地图层之间位置细胞属性的差异。(A)上图:稀疏编码层中的10个代表性位置场。下图:预测地图层中的10个代表性位置场。(B)稀疏编码层中位置场中心的空间分布。点表示每个位置场的峰值活动位置,背景显示了它们的空间分布的核密度估计(KDE)。(C)位置场偏斜方向的温度图。黑色:稀疏编码层;红色:预测地图层。(D)位置场偏斜向量的长度。条形表示神经元间的平均值±标准差。黑色:稀疏编码层;红色:预测地图层。(E)神经活动随时间的滞后1自相关性。条形表示神经元间的平均值±标准差。黑色:稀疏编码层;红色:预测地图层。(F)奖励学习后的学习奖励向量。每个点对应一个空间位置,红色表示奖励位置。(G)状态价值函数。红色表示奖励位置。为了表征每一层的预测性质,我们使用两个互补的指标对稀疏编码层和预测地图层中的神经活动模式进行了定量比较。作为第一个指标,我们将空间偏斜量化为从每个位置场的峰值活动位置到其质心的向量。在稀疏编码层中,这些向量均匀分布,而在预测地图层中则显示出明显的向下偏差(图4C)。此外,这个向量的大小在预测地图层中显著大于在稀疏编码层中(0.034 ± 0.016米 vs. 0.132 ± 0.036米;Welch's t检验,p < 0.01;图4D)。作为第二个定量指标,我们通过计算滞后1自相关性来评估神经活动的时间一致性。预测地图层中的神经活动显示出显著更高的自相关性(0.551 ± 0.210 vs. 0.214 ± 0.186;Welch's t检验,p < 0.01;图4E)。结合空间偏斜分析,这些发现表明预测地图层捕捉了神经活动中的未来导向结构,而稀疏编码层主要反映了即时的空间表示。然后,我们检验预测地图层是否支持状态价值函数的计算。为此,当代理进入由0.4 ≤ x ≤ 0.6和0.4 ≤ y ≤ 0.6定义的环境中心区域时,会给予10的奖励。在学习过程中,与奖励传递相关的空间位置的估计奖励向量会选择性增加(图4F)。值得注意的是,学习到的奖励值并不完全与实际奖励大小相符。这种差异可以归因于学习规则,即只有当稀疏编码层中的神经元在奖励区域内活跃时,奖励估计才会更新,导致估计的奖励向量依赖于代理的访问频率。随后,状态价值函数被计算为学习到的奖励向量与预测地图层中的神经活动之间的内积(图4G)。结果得到的价值图不仅在奖励位置本身,而且在奖励区域下方的区域也显示出较高的值。这些结果表明,除了编码预测空间信息外,预测地图层在与简单的奖励学习机制结合使用时还能够进行价值计算。3.2 预测地图层对于解决水迷宫任务至关重要为了检验预测地图的功能重要性,我们将所提出的模型应用于基于Actor-Critic框架的强化学习环境中。在这个框架中,Actor被实现为一个MLP,它接收来自稀疏编码层的神经活动作为状态表示,并沿x轴和y轴产生连续的位移。在相同二维环境和奖励配置下进行了1000个剧集的模拟。每个剧集开始时,代理被初始化在环境边界附近的随机位置:x坐标或y坐标从[0.0, 0.1]或[0.9, 1.0]区间采样,而另一个坐标则从[0.0, 1.0]范围内均匀抽取。当代理成功到达奖励区域时,剧集结束。图5A展示了学习不同阶段代理的轨迹。在早期阶段(前100个剧集),代理表现出大量的探索行为。经过充分学习后,后期阶段(最后100个剧集)的轨迹显示出更定向的导航朝向奖励位置。在充分学习后,代理成功地导航到了奖励区域,学习到的策略和状态价值函数引导其朝向奖励位置移动(图5B)。图5 预测地图层对策略学习和导航性能的影响。(A)学习不同阶段的代理轨迹。左图:早期阶段(前100个剧集)的轨迹(绿色:开始,红色:结束)。中图:后期阶段(最后100个剧集)的轨迹。右图:去除预测地图层后的后期阶段轨迹。每次模拟总共包含1000个剧集。(B)学习到的策略地图(箭头)和状态价值函数(颜色图)。左图:包含预测地图层的模型;右图:不包含预测地图层的模型。(C)学习曲线显示了100个剧集中到达奖励区域所需的平均步数。结果是在10次独立运行中使用不同随机初始条件得到的平均值。蓝色:包含预测地图层的模型;橙色:不包含预测地图层的模型。(D)最后100个剧集中到达奖励区域所需步数的分布。黑色:包含预测地图层的模型;红色:不包含预测地图层的模型。通过跟踪代理在100个剧集中到达奖励所需的步数来评估学习性能。这一分析显示,随着学习的进行,步数逐渐减少(图5C),表明成功获得了目标导向的导航行为。这些发现表明,预测地图层提供的预测表示有效地支持了水迷宫任务中的强化学习。为了直接评估预测地图层的贡献,我们进行了一种消融实验,在该实验中,状态价值函数是使用来自稀疏编码层的神经活动而不是预测地图层的神经活动来计算的,同时保持所有其他组件和训练协议不变。没有预测地图层时,学习到的策略在远离奖励的区域表现出方向性差的行为(图5A)。由于稀疏编码层只表示代理的即时位置,并不编码预测信息,相应的状态价值函数无法在空间中传播。因此,有效的策略学习主要限于奖励附近的区域,导致从更远位置导航效率低下(图5B)。定量比较显示,消融模型到达奖励所需的步数更多,并且剧集间的收敛速度较慢(图5C、D)。这些结果共同表明,预测地图层在实现水迷宫任务中目标导向行为的有效学习中起着关键的功能作用。第一剧集期间表现的轻微差异(图5C)归因于探索过程中的随机变异性,而不是预测地图层在学习前的固有结构优势。3.3 LEC对象细胞对位置细胞的对象相关调制Deshmukh和Knierim(2011)证明,在包含对象的二维环境中,LEC中的一部分神经元在这些对象附近表现出空间局部化的发射场。随后,Vandrey等人(2021)报告称,在接收来自LEC显著输入的远端CA1区域中,以对象为中心的位置细胞比例增加。在本研究中,我们根据Deshmukh和Knierim(2011)的报告对LEC对象细胞进行了建模,并将其纳入稀疏编码层的输入中,此外还包括来自MEC的网格细胞和边界调整的输入。使用这种扩展的输入表示,我们旨在重现Vandrey等人(2021)的实验发现,即靠近对象的位置细胞比例增加。在模拟中,我们引入了一个二维环境,在其中放置了四个对象,位置固定在[(0.25, 0.25), (0.25, 0.75), (0.75, 0.25), (0.75, 0.75)]。代理通过随机移动自由探索环境。在这种模拟设置下,我们比较了包含和不包含LEC对象细胞的两种条件下位置细胞的空间分布。当不包含LEC对象细胞时,位置场均匀分布在环境中(图6A)。相比之下,当包含LEC对象细胞时,靠近对象的位置细胞的比例显著增加(图6B),导致靠近对象位置的过度表示。在预测地图层中也观察到了类似的趋势,表明在稀疏编码层中产生的以对象为中心的过度表示在下游的预测表示中得以保留。图6 重现了靠近对象的位置场中心的过度表示。(A)不包含LEC对象层的稀疏编码层中位置场中心的分布。黑色点表示位置场中心,背景显示了它们的空间分布的KDE。白色点表示对象。(B)包含LEC对象层的稀疏编码层中位置场中心的分布。黑色点表示位置场中心,背景显示了它们的空间分布的KDE。白色点表示对象。(C)使用KDE估计的稀疏编码层中位置场中心之间的最小成对距离分布。蓝色:无LEC对象细胞的模型;橙色:含LEC对象细胞的模型。为了定量评估这些差异,我们计算了位置场中心之间的最小成对距离分布(图6C)。在两种条件下,分布的峰值都位于约10厘米处。然而,在存在LEC对象细胞的情况下,该峰值的密度降低了,而在6-8厘米范围内的密度增加了。这种变化表明位置场在物体周围有更高的局部聚类性。

综合这些结果,表明在模型输入中添加LEC对象细胞足以再现Vandrey等人(2021年)报告的与物体相关的位置场增强现象。这一发现表明,来自LEC的物体相关信号可以通过与MEC衍生的空间输入的相互作用直接调节海马体的位置表示,从而为物体诱导的位置场过度表示提供了一个机制性解释。

3.4 LEC奖励细胞对位置细胞的过度表示
Gauthier和Tank(2018年)记录了小鼠在具有固定奖励位置的虚拟直线轨道上奔跑时的海马神经元活动。他们报告说,除了传统的位置细胞外,海马中还存在一些神经元,这些神经元始终在奖励位置附近放电,而与空间重映射无关。这些神经元被解释为与经典位置细胞不同的奖励细胞。最近,Issa等人(2023年)在具备固定奖励位置的虚拟直线轨道上导航时记录了MEC和LEC中的神经元活动。他们发现LEC中有两种不同的与奖励相关的神经元群体:在奖励位置之前放电的预奖励细胞,以及在奖励位置之后放电的奖励后细胞。

在本研究中,我们假设LEC向海马传递的预奖励和奖励后信号可以解释奖励位置附近位置细胞的过度表示。为了验证这一假设,我们模拟了LEC的预奖励和奖励后细胞,并设计了一个受Gauthier和Tank(2018年)实验设置启发的仿真环境。具体来说,代理被放置在一个长度为4米的周期性一维环境中。在前60,000步(环境Aend)内,奖励在[3.56米, 3.76米]区间内给予。在随后的60,000步(环境Amid)内,奖励位置移到了[1.56米, 1.76米](图7A)。

图7 再现奖励位置附近位置场中心的过度表示。(A) 一维周期性环境中的实验设置(长度:4米)。红色条表示奖励区域。在前60,000步(环境Aend)内,奖励在3.56–3.76米区间内给予。之后,在接下来的60,000步(环境Amid)内,奖励位置移到了1.56–1.76米。(B) 每个环境中的学习策略。顶部:环境Aend中的策略。底部:环境Amid中的策略。红色条表示奖励区域。(C) 环境Aend中位置场中心的空间分布。黑色点表示位置场中心。(D) 环境Amid中位置场中心的空间分布。黑色点表示位置场中心。(E) 环境Aend与环境A mid中位置场中心位置之间的关系。红色条表示每个环境中的奖励区域。

我们首先检查了代理的学习策略。在环境Aend和环境Amid中,代理学会了在靠近奖励位置时减速,而在其他地方以最大速度移动,从而能够在奖励位置停留更长时间(图7B)。

接下来,我们分析了每个环境中位置细胞的空间分布。在环境Aend中,位置场密度在[3.56米, 3.76米]的奖励位置附近增加(图7C)。同样,在环境Amid中,位置场密度在[1.56米, 1.76米]的奖励位置附近增加(图7D)。

最后,我们研究了位置细胞在不同环境中的重映射情况(图7E)。与Gauthier和Tank(2018年)的发现一致,我们识别出了那些尽管奖励位置发生变化但仍始终在奖励位置附近放电的神经元。这些结果表明,模型再现了实验中观察到的空间选择性位置细胞和与奖励相关神经元的共存,从而提供了LEC奖励信号与海马位置场过度表示之间的机制性联系。

4 讨论
在这项研究中,我们提出了一个计算模型,该模型从多样化的EC输入构建预测性地图。EC输入首先使用NSC转换成类似海马位置细胞的表示,然后从这些位置细胞表示中学习出预测性地图。这一框架提供了多样化的EC输入如何整合在海马中形成预测性空间表示的机制性解释。

我们的模型暗示了海马亚区域和网络组件之间的潜在对应关系:稀疏编码层可能与CA3相关,而预测性地图层可能对应于CA1。这一解释得到了两个观察结果的支持。首先,CA3的特点是具有强烈的循环回路,这与稀疏编码层一致。其次,主要在CA1而不是CA3中观察到具有向后偏斜的不对称位置场(Mehta等人,2000年;Dong等人,2021年),这与预测性地图层中观察到的预测特性一致。在当前模型中,位置场在物体或奖励位置附近的过度表示已经在稀疏编码层中出现,并在预测性地图层中得到保留。稀疏编码层可能将多样化的EC输入绑定起来,构建适合强化学习的状态表示,而预测性地图层则建立了这些状态之间的预测性关系。这样的状态表示能够更精确地估计生物重要位置(如物体或奖励点)的状态价值。因此,预测性地图层提供了一种机制,用于捕捉环境的预测结构并支持在这些状态表示上进行的价值计算。最近的一项理论研究也探讨了海马可能通过整合多样化的EC输入来构建状态表示的观点(Bakermans等人,2025年)。然而,海马的解剖学回路还包括从EC到CA1的直接投射。在当前模型中,我们没有包含EC到预测性地图的直接连接。将模型扩展以包括这一路径并研究其功能作用仍然是未来工作的重要方向。

经典的海马功能理论将海马视为一个联想记忆系统(Treves和Rolls,1994年)。在这个框架中,海马回路通过循环连接存储和检索模式,特别是在CA3区域。相比之下,本研究采用了预测性表示框架,其中海马活动编码状态之间的预测关系,而不仅仅是检索存储的模式。最近的计算模型从神经人工智能的角度探讨了内嗅皮层-海马系统的相关思想。例如,Tolman–Eichenbaum机器(Whittington等人,2020年)将海马建模为一个支持不同任务和环境之间关系泛化的系统。同样,空间记忆管道(Uria等人,2020年)描述了如何通过感官输入和路径整合机制来构建空间表示。更近期,Chandra等人(2025年)提出了一个框架,其中空间表示为组织空间导航和更一般的情节记忆提供了低维支架。在这种观点中,记忆和行为可以理解为在结构化表示空间中的转换。尽管这些方法在架构假设和目标上有所不同,但它们都旨在解释内嗅皮层-海马系统如何支持预测性或关系性表示。

在之前的发育研究中(Langston等人,2010年;Wills等人,2010年),报告称在断奶前的大鼠的海马-内嗅系统中,位置细胞比网格细胞出现得更早。相比之下,我们的模型假设使用理想化的网格细胞活动作为生成位置细胞表示的输入,这乍看之下可能与这些实验结果不一致。然而,这种表面上的差异并不一定意味着与发育证据相矛盾,因为Lian和Burkitt(2021年)证明,即使是从空间选择性较低的输入中也能生成类似位置细胞的活动。因此,我们的结果表明,在发育过程中,强大的位置细胞表示可以从各种内嗅输入结构中产生。

在Stachenfeld等人(2017年)的预测性地图理论中,网格细胞被解释为SR的特征向量,表明网格状活动可能来源于环境的预测结构。相比之下,当前模型假设网格细胞提供了来自内嗅皮层的上游输入,这些输入通过稀疏编码层有助于形成类似位置细胞的表示。这两种解释并不一定是相互排斥的,因为内嗅皮层-海马回路包含强大的双向连接,这可能允许海马中的预测性表示通过反馈途径影响内嗅皮层活动。

关于这些内嗅输入的具体性质,我们注意到在周期性环境中使用边界调整信号的一个限制。由于二维环面在定义上没有物理边界,这些输入作为一种表征锚点,用于缓解当网格间距不是环境周期的精确倍数时出现的数值不连续性。未来的工作应该旨在开发更自主的路径整合机制,以便在没有外部坐标固定线索的情况下解决这种不连续性。例如,使用连续的吸引子网络模型(Burak和Fiete,2009年)可以让网络动态自然适应环境拓扑。此外,探索网格尺度是如何确定的——它们是由固定的缩放因子确定的(Stensola等人,2012年)还是动态调整以适应环境的周期性约束——仍然是一个关键的未解决问题。这样的研究可能会揭示大脑是否主动将其内部网格表示与环境的整体结构对齐,以保持无缝的空间地图。

最近的一项实验报告称,位置场可能会向预测的奖励位置移动,而不是沿着经过的轨迹简单地显示出向后偏斜(Yaghoubi等人,2026年)。尽管这种现象可能与经典预测性地图理论预测的向后偏斜不同,但这并不一定与预测性地图框架相矛盾。相反,这些发现可能反映了奖励预测信号对海马表示的影响。腹侧被盖区中的多巴胺神经元已知能够编码奖励预测误差(Schultz等人,1997年)。由于多巴胺能信号可以影响内嗅皮层-海马回路中的活动,与奖励相关的输入可能通过涉及LEC的途径调节海马的位置表示。在这种机制下,位置场的移动可能发生在奖励预测误差较高的位置。因此,研究奖励预测信号如何与预测性空间表示相互作用可能有助于阐明海马如何在一个统一的框架内整合空间预测和价值相关信息。

扩展这一观点,LEC不仅可能编码与奖励相关的信息,还可能编码与厌恶或惩罚相关的信息。解剖学研究已经证明了杏仁核向EC的兴奋性投射(Sparta等人,2014年),实验证据表明腹侧被盖区的神经元不仅对奖励有反应,也对厌恶刺激有反应(Brischoux等人,2009年)。这些途径表明,惩罚相关信号可能通过某种途径传递到内嗅皮层-海马系统。在这个框架中,当前模型原则上可以生成选择性表示与厌恶经历相关位置的海马神经元。这样的扩展意味着所提出的基于预测性地图的机制不仅可以解释位置细胞活动,还可以解释与情感显著经历相关的记忆痕迹的形成(Liu等人,2012年)。

5 结论
在这项研究中,我们提出了一个受生物学启发的模型,该模型从MEC和LEC输入构建预测性地图,并支持在连续环境中的目标导向行为。结果表明,该模型再现了依赖于经验的位置场,如向后偏斜、以物体为中心和以奖励为中心的过度表示,表明了一种将内嗅输入与行为空间记忆联系起来的统一计算机制。
相关新闻
生物通微信公众号
微信
新浪微博

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号