“理解、划分、征服”:通过多智能体分层强化学习探索特征子空间

《ACM Transactions on Knowledge Discovery from Data》:Comprehend, Divide, and Conquer: Feature Subspace Exploration via Multi-Agent Hierarchical Reinforcement Learning

【字体: 大 中 小 】 时间:2026年09月19日 来源:ACM Transactions on Knowledge Discovery from Data 6.9

编辑推荐:

  摘要: 为了查看这个由AI生成的摘要,您必须拥有高级访问权限。了解更多信息请登录。 摘要: 特征选择旨在预处理目标数据集,找到最优且最精简的特征子集,并提升下游机器学习任务的性能。在过滤器、包装器和基于嵌入的方法中,基于强化学习(RL)的子空间探索策略提供了一个新颖的、以目标优

  摘要:
为了查看这个由AI生成的摘要,您必须拥有高级访问权限。了解更多信息请登录。

摘要:
特征选择旨在预处理目标数据集,找到最优且最精简的特征子集,并提升下游机器学习任务的性能。在过滤器、包装器和基于嵌入的方法中,基于强化学习(RL)的子空间探索策略提供了一个新颖的、以目标优化为导向的视角,并展现了有希望的性能。然而,即使性能有所提高,当前的强化学习方法在处理复杂数据集时仍面临与传统方法相似的挑战。这些挑战源于“每个特征一个代理”的低效范式以及数据集中固有的复杂性。这一观察激发了我们研究并解决上述问题的兴趣,并提出了一种新的方法,即HRLFS。我们的方法首先使用基于大型语言模型(LLM)的混合状态提取器来捕捉每个特征的数学和语义特征。基于这些信息,对特征进行聚类,从而为每个簇和子簇构建层次化的代理。广泛的实验证明了我们方法的有效性、可扩展性和鲁棒性。与当代的或每个特征一个代理的RL基方法相比,HRLFS通过迭代特征子空间探索提高了下游ML的性能,同时通过减少参与的代理数量来加速总运行时间。我们的代码和数据集可以在GitHub和Huggingface上公开获取。

AI生成的摘要(实验性):
该摘要是使用自动化工具生成的,并非由文章作者编写或审阅的。它旨在支持发现、帮助读者评估相关性,并帮助来自相关研究领域的读者理解这项工作。它旨在补充作者提供的摘要,后者仍然是论文的官方摘要。完整的文章才是权威版本。点击此处了解更多信息。点击此处对摘要的准确性、清晰度和实用性进行评论。这样做将有助于改进和未来的再生成版本。为了查看这个由AI生成的通俗语言摘要,您必须拥有高级访问权限。

1 引言
特征选择(FS)在经典机器学习模型中起着关键作用,它可以减轻维数灾难、减少训练时间、消除特征冗余,从而显著提高预测性能[1–3]。FS方法的发展已经从早期的启发式和统计筛选技术进步到复杂的基于过滤器[4–6]、包装器[7, 8]和嵌入策略[9–11]的方法,这些方法针对日益复杂的数据环境进行了定制。同时,现代AI的快速发展[12–15]扩展了FS的应用领域,涵盖了数据模式发现[16]、生物标志物识别[17, 18]以及构建AI驱动的数据管道(AI4data)[19–22]等具有挑战性的任务。在多模态数据处理和实时大数据分析的新兴需求背景下,集成高效和智能的FS越来越被认为是提高数据质量和推动数据中心化范式的重要元素[23]。
在各种FS方法中,基于强化学习(RL)的策略[24]因能够以目标为导向的方式通过迭代特征子空间探索来优化特征子集而受到了显著关注。尽管取得了这些进展,但基于RL的FS方法在处理复杂数据集时仍面临显著挑战。这种困难主要源于“每个特征一个代理”框架的局限性[24]。目前的RL研究在应对数据集的复杂性方面取得了一些进展。一种有洞察力的方法[25]是采用多代理RL(MARL)[26]架构进行特征子空间探索。然而,“每个特征一个代理”(OAPF)系统的局限性变得明显,因为处理高维数据集时需要过多的代理。
总之,如图1(a)所示,经典的FS方法通过单一决策进行FS,这种方法效率很高,但对特征本质的分析不够充分,导致性能较低。当前的基于RL的方法如图1(b)所示。这些子空间探索方法源自包装器FS的思想,并具有强大的FS能力。然而,它们也具有包装器方法的固有缺点,即它们的时间复杂度为O(N),在处理大型数据集时需要大量时间。为了应对管理大量代理的挑战,提出了基于组[27]和交互[28]的代理架构作为有前景的解决方案。然而,这些方法仅依赖于表面的数学特征(例如,特征的标准方差)来组织特征,由于忽略了特征的语义和上下文关系,导致不准确性[29, 30]。

图1. HRLFS与其他FS方法的比较。
这些观察结果促使我们开发了基于层次化RL(HRL)的新架构来进行特征子空间探索。这项研究的核心概念是,当一个特征(例如年龄)对于任务无关时,其语义上等价的特征(例如出生日期)也可能无关。此外,两个表现出相似数值模式的特征(例如,高度相关的生物信号)可能是冗余的,需要精细区分。例如,Mice-Protein [31]用于研究小鼠唐氏综合征,包含77个与小鼠大脑学习能力相关的重要蛋白质。它包含两个基因“pGSK3B_N”和“GSK3B_N”,这两个基因在生物学上高度相关,因为它们对应于同一种蛋白质“GSK-3β”,这种蛋白质在其表达过程中有不同的形式[31]。传统的FS方法难以处理这种内在的生物学冗余。例如,“每个特征一个代理”的方法会独立决策,由于缺乏代理协作,往往无法同时移除这两个特征。同时,基于纯数学相关性的基于组和交互的方法可以检测到它们的统计联系,但缺乏理解潜在生物学原因的语义背景。我们的方法使用语义信息来识别潜在关系,并采用层次结构进行统一决策。这解决了上述方法在特征理解、代理协作和决策效率方面的局限性。
如图1(c)所示,我们的解决方案构建了层次化的代理来处理特征子空间探索任务,将平均决策时间复杂度降低到O(log N),同时保持高性能。核心思想可以分为三个阶段:(理解) 我们的主要创新在于整合大型语言模型(LLMs)来理解特征元数据的语义含义,并结合高斯混合模型(GMM)来捕捉特征的数学特征。(分割) 在这些增强的特征表示基础上,我们采用聚类机制对相似特征进行分组。(征服) 利用这些簇,我们构建了一个多代理HRL(MAHRL)框架,该框架反映了特征空间的自然组织。这种层次结构战略性地分配了决策责任给特定簇的代理,并适应性地减少了所需的激活代理数量,显著降低了计算开销并加速了探索过程。我们的贡献可以总结为:
- 全面的特征理解。我们利用LLMs和统计差异来从数据集元数据和它们的数学特征中提取有意义的信息,从而实现对特征关系的更深层次的理解,超越了数值统计。
- 超越“每个特征一个代理”的架构。聚类后的特征通过层次化MARL架构进行管理,减少了激活代理的总数,提高了计算效率,并改善了FS过程。
- 理论和实验效率。我们从理论和实验两个方面严格证明了我们方法的效率和有效性,显示出其预测性能和计算可扩展性优于现有的FS方法。

2 重要定义
FS。给定数据集D={X∈Rm×n,y∈Rm×1,F},其中X和y分别是特征和标签。m和n是样本和特征的数量。我们使用有限集合F={f1,f2,…,fn}来表示数据集D中包含的特征列,其中fi是X的第i列。FS的目标是找到最优的特征子集F??F,以在保持计算效率的同时提升模型性能。
将FS与RL结合。在本文中,我们将FS方法的决策过程框定为马尔可夫决策过程[32]。具体来说,st表示时间步t时选定特征Ft的状态。代理(s)具有策略函数π(?),将通过动作at∈{0,1}n选择或丢弃每个特征,其中每个动作组件对应于包含(1)或排除(0)特定特征。通过动作at,我们可以构建特征Ft+1的子集并提取其相关的新状态st+1。我们还可以评估选择并获得奖励rt。通过收集记忆mt=(st,at,st+1,rt),我们可以优化策略函数π(?)以实现RL,并最终获得最优选择F?。

3 方法论
3.1 HRLFS概述
HRLFS是一种高效的基于RL的特征子空间探索方法,采用理解-分割-征服的范式。HRLFS首先提取每个特征的混合状态,对每个特征进行聚类,然后初始化层次化代理架构。利用每个特征的状态,层次化代理将探索特征组合并优化其选择策略。之后,HRLFS将输出最终的最优选择以提升下游的机器学习任务。
3.2 混合特征状态提取
如图2所示,我们开发了一种混合特征状态提取方法,以帮助聚类组件和每个RL代理理解给定的数据集。
图2. 混合特征状态提取。
利用特征分布。我们首先考虑每个特征的数学特征。为此,我们使用带有k个高斯组分的GMM对每个特征f进行建模,以准确捕捉特征值的分布。特征f的概率密度函数(PDF)定义为:P(f∣θ)=∑i=1kziNi(f∣μi,σi),其中∑i=1kzi=1。(1)这里,Ni(f∣μi,σi)表示第i个高斯分布,zi是一个非负常数,用于控制每个组分的权重。θ=(z1,…,zk,μ1,…,μk,σ1,…,σk)是GMM模型的整体参数。然后我们使用以下对数似然函数来最大化PDF与F的实际分布之间的似然:l(Θ∣F)=∑f∈Fln?(∑i=1kziN(f∣μi,σi)),(2)其中Θ={θi}i=1n表示n个特征的所有参数。通过这种方式,我们应用期望最大化算法来优化损失函数,并获得最终参数θi?作为特征fi的分布状态。
利用特征元数据。另一解决特征状态不准确性的关键方法是从小特征描述(即元数据)中获取语义信息。我们采用了一种直接但高效的方法:将特征名称-描述对输入到LLM中,然后使用PCA[33]进行降维,以匹配高斯组分的数量k。这个过程产生了作为语义特征状态的句子嵌入。对于不完整的数据集,我们使用以下提示来生成其特征描述。如图3所示,我们将数据集的描述、可用的特征名称及其描述,以及没有描述的特征的名称输入到LLM中以完成缺失的特征描述。生成的元数据在预处理过程中一次性创建,并作为不可变的注释存储。此外,对于没有数据集描述和特征描述的数据集(例如合成数据集),我们使用全零嵌入作为其特征的状态。通过这种方式,我们可以为每个特征fi获得语义状态ei∈Rk。
图3. 使用数据集元生成特征描述的提示。
最后,我们将分布状态和语义状态连接起来生成混合状态,表示为hi=ei⊕θi?。
3.3 分割-征服代理架构
然后我们介绍如何构建代理层次结构(分割)和组织代理决策(征服)以克服数据集的复杂性挑战。
3.3.1 代理层次结构构建
如图4所示,我们提出了一种H聚类算法,通过它们混合状态的相似性来聚合特征,并使用这种组信息来构建代理的层次结构。具体来说,我们使用增量聚类算法合并两个导致方差增加最少的簇[34]。算法1说明了从所有特征状态H={hi}i=1n开始,每个特征最初形成一个簇,然后通过相似性分组逐步合并簇,直到只剩下一个簇。然后我们得到簇集Cagent,其中每个簇Ci∈Cagent表示一个代理Ai。包含关系建立了代理的层次结构;如果Ci?Cj(两个低级代理组合形成一个高级代理),则低级代理Ai是高级代理Aj的一部分。
图4. 通过增量聚类构建代理层次结构。
用于特定簇的层次化代理决策。如图5所示,代理在层次化框架内的不同粒度级别上共同决策,从高级代理到低级代理。每个代理共享状态和奖励,同时制定策略。树的叶子节点对应于单个特征,负责做出是否选择或丢弃每个特定特征的精细决策。相比之下,内部(非叶子)节点代表更高层次的特征簇,并通过划分特征空间来做出更广泛的决策,确定是否应该进一步考虑或从选择过程中剔除由各自子树表示的整个特征组。图5. 展示了分层代理的迭代和优化细节。? 行动:在第t次迭代中,与第i个代理(对应于树中的节点)相关的行动是一个二元选择:ati∈select, drop。如果一个代理(树节点)选择了“select”行动,则它会递归地将FS任务委托给其子节点(即,以它的子节点为根的子树会被进一步探索)。相反,如果一个节点选择了“drop”行动,则以该节点为根的整个子树将变得不活跃,它的所有后代代理(或它们的相关特征簇)都不会被激活。通过这种方式,任何内部节点的“drop”行动都会导致相应的子树从选择过程中被剔除。? 状态:每个代理的状态是从选定的特征子集中得出的向量化表示。我们采用混合特征状态作为每个代理的状态表示。我们首先从GMM获取参数θi?={z1i,?,zki,μ1i,?,μki,σ1i,?,σki},用于特征fi。由于每个高斯分量的z调整,我们将每个μ和σ加权和到相应的z上,形成状态向量si,形式上表示为:si=ei⊕∑j=1kzji?(μji⊕σji)。(3)为了获得步骤t的状态,我们将所有特征状态连接起来形成一个固定大小的向量st∈Rn×(k+2):??st=?i=1n(1t(fi)?si),(4)其中??1t(?)是一个指示函数,表示特征fi在步骤t中被选中与否。如果fi未被选中,该函数返回0;如果被选中,则返回1。? 策略:代理的策略网络是一个具有二元分类头的前馈神经网络。形式上,对于特征fi,其在第t次迭代中的行动由ati=πi(st?1)得出。? 奖励:如图5所示,我们设计的奖励函数与下游任务性能和选定特征数量的减少有关。? 性能:奖励函数的第一个方面通过下游任务(如分类和回归)来评估性能。我们使用选定的特征子集训练一个下游任务模型,并使用模型评估指标定义rtp。? 数量减少:第二个方面专注于通过rtq=|F|?|Ft||F|+λ?|Ft|来确保特征数量紧凑。(5)其中F是整个特征集,Ft是步骤t中选定的特征子集,λ是一个超参数,|?|表示给定集合的大小。随着λ的增加,保留太多特征的惩罚(较大的|Ft|)变得更加严重,从而鼓励更大幅度的基因减少。相反,较低的λ值减轻了对|Ft|大小的惩罚,适用于仅需最小减少的情况。这个指标确保选择过程策略性地减少了特征的数量。? 奖励分配:然后我们将两个方面结合起来,在步骤t中获得奖励:rt=α?rtp+(1?α)?rtq,(6)其中rt是这一步的总奖励。α是一个超参数,用于调整两个方面的权重。在获得奖励后,框架将奖励平均分配给每个激活的代理。这种在奖励函数中平衡性能和特征数量的方法类似于基于稀疏约束的FS方法(Lasso [35]和LASSONet [11]),它们将正则化项纳入其目标函数中,但更加灵活和适应性强。3.4 探索和优化图5展示了我们使用分层强化迭代发现最佳特征子集的方法,将模型训练分为两个不同的阶段:探索和优化。探索阶段。在探索阶段,分层代理随机探索特征子空间。它们以当前状态st作为输入,并分层地选择或丢弃特征,构建一个新的选定特征集。奖励rt和下一个状态st+1是根据新选定的特征子集计算得出的。每个在此步骤中采取行动的代理Ai将其经验mt={st,at,rt,st+1}存储在其内存Mi中。优化阶段。代理将通过从优先经验回放[36]获得的内存小批量自主训练它们的个体策略。我们利用Actor–Critic方法[37]来细化策略,其中策略网络π(?)扮演演员的角色,而V(?)作为其相关的评论家。代理Ai的优化目标由预期累积奖励定义,表示为:maxπEmt~B[∑t=0Tγtrt],(7)其中B指的是优先回放缓冲区内的经验分布,γ是折扣因子,T表示一个剧集的时间范围。此外,我们结合了Q函数Q(s,a),它表示在状态s中采取行动a并随后遵循策略π的预期回报:Q(s,a)=E[r+γmaxa′Q(s′,a’)。|s,a]。 (8)演员网络的训练调整由策略梯度[38]确定,定义为:?θJ(π)=Emt~B[?θlog?π(at∣st)A(st,at)]。(9)这里,A(s,a)=Q(s,a)?V(s)是优势函数,有助于策略改进的梯度估计。HRL进步的分析。分层代理结构在每一步中激活的代理较少,从而在迭代中表现出更好的性能。单一代理方法使用一个代理对N个特征做出N个决策。同时,多代理方法使用N个代理对N个特征做出N个决策,两种方法的时间复杂度都是O(N)。相比之下,我们应用了分层结构,减少了做出决策的激活代理的数量,总共使用2N?1个代理对N个特征做出log(N)个决策,时间复杂度为O(log(N))。在接下来的部分,我们将提供时间复杂度优势的详细证明。3.5 Comprehend-Divide-and-Conquer解决方案的时间复杂性证明在本节中,我们提供了Comprehend-Divide-and-Conquer FS解决方案时间复杂性的正式证明,分析了最佳、最坏和平均情况。考虑一个由N个代理组成的完整二叉树架构,其中每个非叶子代理以概率p将其决策权委托给其子节点。定理3.1(最佳情况时间复杂性)。最佳情况时间复杂性满足O(1)。证明。最佳情况发生在根代理立即终止决策过程而不委派给其子节点的情况下。这只需要在根节点进行常数次操作:Tbest(N)=c1,(10)其中c1是一个常数。因此,Tbest(N)∈O(1)。(11)□定理3.2(最坏情况时间复杂性)。最坏情况时间复杂性满足O(N)。证明。最坏情况发生在每个代理递归地将决策权委派给其子节点,直到达到叶子节点,从而激活树中的所有N个节点。对于一个具有N=2h?1个节点(高度h)的完整二叉树,Tworst(N)=∑k=0h?12k=2h?1=N。(12)因此,Tworst(N)∈O(N)。(13)□定理3.3(平均情况时间复杂性)。在以下假设下,当p=1/2时,平均情况时间复杂性满足O(log?N)。假设1(平衡的树结构)。分层架构是一个完美的二叉树,具有:—N=2h?1个节点,其中h是树的高度;—所有叶子节点处于相同的深度级别;—每个非叶子节点有恰好两个大小为?N/2?的子树。虽然这个假设在理论上很方便,但实际上我们的层次结构非常接近这种结构。我们在第5.12节提供了这一假设的经验验证,显示在21个数据集中观察到的平衡因子和树高度与完美二叉树的非常一致。假设2(独立委托)。每个非叶子代理以概率p独立将其决策权委派给其子节点,其中p∈[0,1]。(14)让E(N)表示这样的树中活跃代理的预期数量。我们按照以下方式形式化分析:引理3.4(期望分解)。对于N>1,活跃代理的预期数量满足E(N)=(1?p)?1+p?[1+E(?N2?)+E(?N2?)],(15)边界条件E(1)=1。证明。根据总期望法则:E(N)=E[Nodes∣root terminates]?(1?p) (16) +E[Nodes∣root delegates]?p。(17)具体来说:—如果根终止:E[Nodes]=1。—如果根委托:E[Nodes]=1+E(?N2?)+E(?N2?)。对于一个完美的二叉树,当N=2h?1时,?N2?=?N2?=N2,因此递归简化为E(N)=1+2pE(N/2)。(18)□定理3.5(封闭形式解决方案)。对于N=2h?1,递归解决为E(N)=(2p)log2?(N+1)?12p?1。(19)特别是,当p=1/2时,E(N)=2log2?(N+1)+O(1)。(20)证明。对于N=2h?1展开递归:E(N)=1+2pE(N/2)=1+2p[1+2pE(N/4)]=∑k=0h?1(2p)k+(2p)hE(1)=(2p)h?12p?1+(2p)h?1=(2p)h+1?12p?1。(21)代入h=log2?(N+1)得到:E(N)=(2p)log2?(N+1)?12p?1。(22)对于p=1/2,2p=1,所以:E(N)=log2?(N+1)+1=2log2?(N+1)+O(1)。(23)□因此,平均情况时间复杂性满足:Tavg(N)∈O(log?N)。(24)在第5.2节中,我们进行了实验,结果显示活跃代理的数量减少了70.61%到82.30%,时间消耗减少了35.49%到55.26%。这些观察结果与结论一致。4 实验设置4.1 数据集描述我们在21个数据集上进行了实验,这些数据集可以从Feature Selection Benchmark [39]、国家生物技术信息中心的Gene Expression Omnibus [40]、UCI [41]、Kaggle [42]、OpenML [43]、libSVM [44]等公开获取。这些数据集涵盖了三种任务(分类、多标签分类和回归)、样本量和特征样本数量。数据集来自各个领域,包括生物学、金融和合成数据。数据集的样本量从253到83,773不等。这些数据集包含的特征数量范围从21到20,670不等。为了避免过拟合,我们遵循了现有研究[16],将数据集分成训练和验证部分。具体来说,奖励在80%的样本中评估;剩余的20%的样本用于验证所选特征的效率和能力。数据集描述包括样本数量、特征数量和任务类型,列在表1中。表1. 数据集 任务#样本数#特征数 Best LASSONet MCDMRL ASMAR LFS SAFSGAINS CompFS 我们的 Spect FC 267 447 9.16 82.11 79.44 80.38 77.01 80.78 80.55 83.69 87.56±0.22 SVMGuide 3 C1,243 217 6.55 77.61 75.68 76.13 75.92 75.53 77.53 72.83 78.90±0.45 German_Credit C1,001 246 5.75 58.85 70.49 64.91 66.89 66.89 69.40 68.27 73.07±1.13 Credit Default C3 0,000 258 0.40 79.86 74.87 80.41 80.11 77.49 80.05 78.15 80.56±0.09 SpamBase C4,60 157 90.36 89.16 89.10 91.40 90.04 90.93 91.71 89.70 92.60±0.31 Megawatt1 C2 533 884.02 89.59 89.59 83.22 87.64 86.46 89.42 91.83 92.70±0.73 Ionosphere C3 51 349 1.48 90.17 88.85 94.11 90.18 90.18 92.24 91.08 94.27±1.04 Mice-Protein MC1,08 778 2.86 82.71 81.95 77.78 80.56 77.81 81.04 78.96 83.79±0.91 Coil-20 MC1,440 400 93.92 88.19 96.53 90.97 96.19 94.41 97.22 95.16 97.56±0.06 MNIST MC10,000 784 89.67 86.40 91.25 88.30 90.75 86.65 91.40 87.65 91.75±0.24 Otto MC6 1,878 937 2.31 71.65 73.24 72.86 73.74 72.13 72.40 71.97 74.24±0.07 Jannis MC8 3,733 546 5.48 65.78 64.20 57.88 66.70 64.42 65.15 66.61 67.91±0.22 Cao MC4,186 13,488 82.81 83.65 82.37 84.57 83.71 84.67 82.47 85.57 89.37±0.13 Han MC2,746 20,670 70.18 72.57 71.33 74.73 74.69 75.79 74.03 73.20 81.45±0.21 Openml_586R1,000 255 6.35 56.03 55.82 55.02 53.15 59.36 55.49 61.75±0.71 Openml_589R1,000 255 3.34 52.99 54.12 49.36 52.68 45.51 59.33 48.46 61.60±0.69 Openml_616R5 005 031.16 21.69 28.27 50.38 31.36 46.16 49.54 49.16 53.90±0.86 Openml_618R1,000 504 9.21 48.97 48.69 58.57 49.31 45.16 55.68 48.55 56.40±0.62 Openml_620R1,000 255 3.00 54.63 55.00 41.63 54.57 50.16 61.51 55.49 62.78±0.82 Openml_637R5 005 023.09 25.42 23.75 42.04 25.96 34.18 39.46 36.17 40.54±0.37 总体性能比较每个数据集的最佳结果以粗体突出显示,第二好的结果用下划线标出。#Samp. 和 #Feat. 表示样本数量和特征数量。4.2 评估指标我们使用F1分数(Micro-F1)、准确率和召回率来评估分类任务(多分类任务)的性能。对于回归任务,我们使用来自研究[45, 46]的基线的超参数设置遵循了它们原始论文中的规定。4.5 环境设置实验在Ubuntu 18.04.6 LTS操作系统上进行,该系统配备了AMD EPYC 7742 CPU和4个NVIDIA V100 GPU,在Python 3.11.0环境中使用,并采用了PyTorch 2.1.1。5.1 主要比较本实验旨在回答以下问题:HRLFS是否能够在所有领域有效地优化出一个更优的特征子空间?我们将我们的方法与各种数据集上的经典方法和最新方法进行了比较。表1展示了HRLFS的总体结果。我们观察到HRLFS在所有任务上的表现均优于传统的基于深度学习和强化学习的方法。其根本原因在于,与经典方法(KBest、LASSONet和MCDM)相比,HRLFS通过大语言模型(LLMs)发现了特征之间的细微差异,从而构建了一个比数值统计更精确的特征子空间,从而提高了性能。与基于深度学习的方法(SAFS、CompFS、GAINS)相比,HRLFS利用分层架构管理聚集的特征,考虑了从粗粒度到细粒度的特征相关性,使得特征子空间的探索更加深入。与基于强化学习的方法(RLAS、MARLFS)相比,HRLFS通过强化学习架构促进了代理之间的协作,从而提升了性能。总体而言,这个实验表明HRLFS在多样化的数据集、不同的任务规模和领域中都具有显著的优势,强调了其在特征子空间探索方面的通用性。5.2 空间/时间复杂度分析与OAPF的空间/时间复杂性进行了比较。本实验旨在回答问题:HRLFS在空间/时间复杂度上是否优于OAPF方法?表2比较了OAPF架构和HRLFS在四个数据集上的活跃代理数量及总体运行时间。我们观察到,在所有4个数据集中,HRLFS的活跃代理数量至少减少了70.61%。此外,这种活跃代理数量的减少直接转化为时间上的显著节省:在每个报告的数据集中,HRLFS的总体运行时间比OAPF减少了30-50%以上。这些实证结果支持了我们在第3.5节中的复杂性证明,即HRLFS的活跃代理数量预期为O(log2N),而OAPF需要O(N)的活跃代理。其根本原因是HRLFS的分层决策结构基于分治范式,实现了更高的决策效率,大幅减少了活跃代理的数量,从而降低了空间和时间复杂度。总之,通过减少活跃代理的数量,分层架构不仅提高了空间效率,还显著减少了运行时间。表2 数据集 Spam Base Mice-Protein Coli-20 MNIST 方法 我们的方法 -h 我们的方法 -h 我们的方法 -h 我们的方法 -h 我们的方法 -h 我们的方法 平均活跃代理数量 56 16.46 -70.61% 76 13.45 -82.30% 400 104.39 -73.90% 784 156.73 -80.01% 时间消耗(秒) 146.56 76.28 -47.95% 177.77 79.53 -55.26% 547.05 352.86 -35.49% 2,291.25 1,317.28 -42.50% OAPF与我们的模型之间平均活跃代理数量的比较 5.3 与基线的空间/时间复杂性比较本实验旨在回答问题:HRLFS在时间和性能上是否优于基线方法?图6展示了HRLFS与其他基线方法以及我们的消融模型HRLFS-h(将MAHRL架构替换为OAPF架构)的性能和时间消耗。我们发现HRLFS的表现优于所有基线和HRLFS-h,其时间消耗与传统统计方法(KBest、MCDM和LASSONet)相当,并且远优于基于强化学习的方法(RLAS和MARLFS)以及基于深度学习的方法(SAFS、CoFS和GAINS)和HRLFS-h。与基于深度学习的方法相比,我们的代理仅由两层神经网络组成,相对于这些方法使用的众多参数,这降低了时间消耗。与基于强化学习的方法相比,HRLFS应用了分层决策架构来管理聚集的特征,大大减少了活跃代理的数量,使得活跃代理在其余代理处于非活跃状态时仍能进行决策,从而提高了迭代效率并减少了时间消耗。此外,HRLFS在性能和时间上均显著优于HRLFS-h,这表明分层决策架构能够捕捉特征之间的相关性,促进代理间的协作,并减少活跃代理的数量。总之,通过有效的状态提取和分层架构设计,HRLFS在时间和性能方面具有显著优势。图6. HRLFS与基线方法在下游任务性能和时间消耗方面的比较。5.3 混合状态表示的影响我们设计了三种变异体:HRLFS-s(GMM)仅使用GMM进行特征表示;HRLFS-s(LLM)仅使用LLM进行特征表示;HRLFS-h使用OAPF架构替换了MAHRL架构。图7显示了两种分类任务和两种回归任务上特征表示变异体的比较结果。我们发现HRLFS总体上优于HRLFS-s(GMM)和HRLFS-s(LLM)。其根本原因在于,与HRLFS-s(GMM)相比,混合状态表示利用了LLMs的力量来解释和提取特征元数据中的信息,为分层代理优化和探索特征子空间提供了有价值的见解,从而改善了特征子空间。图8. HRL架构的影响图8比较了不同HRL架构变体在两个分类任务和两个回归任务上的表现。我们可以观察到HRLFS在减少时间消耗的同时,表现也优于HRLFS-h。这意味着分层代理结构大大减少了活跃代理的数量,从而降低了消耗的时间。同时,这种分层架构为特征子空间的探索提供了不同的粒度,带来了性能的提升。图8. MAHRL架构的影响。5.4 多代理层次架构设置的分析本实验旨在回答问题:更细粒度或更粗粒度的代理层次结构设置如何影响整个系统?在算法1中,具有相似语义或数学分布的特征由同一代理控制,形成一个分层树结构。在这个实验中,我们从三个任务(Megawatt1、MNIST和OpenML_616)中各选取了一个数据集,并改变了参与的代理层次数量。较小的值表示参与特征子空间(FS)的代理层较少,从而导致更粗糙的决策过程。从图9的结果可以看出,增加层次数量可以一致地提高性能并增强稳定性,表现为得分更高和标准差降低。这种行为的根本原因是更细粒度的层次结构中代理数量的增加,促进了特征的更细致探索。此外,我们注意到,激活的代理较少的粗粒度层次结构导致性能较低,因为对相关特征的探索不够详细。这表明更细粒度的层次结构能够实现更好的代理协调和决策,提高FS效率。然而,这种改进是以更高的计算复杂性和更多的活跃代理为代价的,表明代理参与度和系统效率之间存在权衡。图9. 随着代理层次粒度变化,下游任务的性能和活跃代理比例。5.5 混合状态提取方法的分析本实验旨在回答问题:结合GMM和GPT-4进行特征状态提取是否是最优的?我们在几个数据集中比较了不同的特征分布提取方法和语义提取模型,如图10所示。Statistics+GPT-4结合了均值、最大值、最小值、方差、第一四分位数、第二四分位数和第三四分位数来提取特征分布,并利用GPT-4来利用元数据。GMM+BERT、GMM+QWen和GMM+Gemini分别使用GMM来获取统计信息,并利用BERT [55]、gte-Qwen2-7B-instruct [56]、gemini-embedding-exp [57]来利用语义信息。通过比较Statistics+GPT-4和GMM+GPT-4,我们可以观察到使用GMM获得的特征分布比仅使用统计方法的结果更好。其根本原因是,像均值、最大值、最小值这样的统计量只能提供数据的简单描述,而GMM可以通过多个高斯分布的线性组合来近似任意形状的概率分布,从而更好地捕捉这种复杂性,带来更好的结果。通过比较GMM+BERT、GMM+QWen、GMM+Gemini和GMM+GPT-4,我们发现GPT-4在提取语义信息方面的性能优于其他模型。这意味着与BERT和QWen相比,GPT-4的模型架构和规模更大,能够捕捉更复杂的语义关系和上下文信息。与Gemini相比,GPT-4的数据筛选和清理标准减少了训练数据中的错误和偏见,进一步提高了语义信息提取的准确性和可靠性。总之,由于GMM和GPT-4能够准确提取特征分布和语义信息,它们是特征状态提取的最佳选择。图10. 不同特征状态提取模型的比较。5.6 特征聚类算法选择的分析本实验旨在回答问题:H-clustering算法在特征子空间探索任务中的表现是否优于其他聚类方法?我们在图11中比较了H-clustering(我们的方法)与KMeans [58]、DBSCAN [59]和SpectralClustering [60]在四个具有不同特征数量的数据集上的表现。图11. 不同聚类算法的影响我们可以观察到H-clustering的表现优于所有聚类算法,而且随着特征数量的增加,H-clustering的优势更加明显。其根本原因是,与普通聚类算法相比,H-clustering从细粒度到粗粒度聚合特征,构建了分层决策架构,并在更细的粒度上考虑了FS问题,从而提高了性能。同时,这种从粗到细的决策方法将复杂的任务分解为几个相对简单的任务,自然具有处理复杂问题的优势,因此对于特征数量较多的任务更为有利。总之,H-clustering在不同粒度上决策FS问题,表现更好,能够处理更复杂的问题。5.7 强化学习后端选择的分析本实验旨在回答问题:HRLFS中使用的策略模型是否优于其他现有模型?我们在图12中将ActorCritic [37](我们的方法)与DQN [61]、Double DQN [62]和Dueling DQN [63]在二元分类、多分类和回归任务上进行了比较。我们发现ActorCritic在所有任务中的表现都优于其他方法。这意味着与依赖于Q值间接更新的方法(如DQN)相比,ActorCritic结合了策略梯度和价值函数估计,能够直接优化策略,减少了方差并提高了学习效率,从而在所有任务上表现更好。总之,由于其更高的效率和策略优化的稳定性,ActorCritic是策略模型的合适选择。图12. 不同策略模型的影响。5.8 误导性元数据的影响本实验旨在回答问题:混合特征状态提取是否对嘈杂的元数据具有鲁棒性?我们选择了四个数据集,并随机打乱了25%、50%、75%和100%的特征描述,以测试其在面对嘈杂和排列混乱的元数据时的鲁棒性,如表3所示。我们发现,该方法在所有数据集中的表现并未受到错误特征的显著影响。当0-50%的特征描述被打乱时,方法的性能最多下降了2.45%。即使当100%的特征描述被打乱时,性能也仅下降了5.54%。在这种情况下,大多数使用HRLFS的数据集的表现仍然优于“原始”设置(无FS),证明了其鲁棒性和有效性。这表明我们的混合特征状态提取组件结合了关于特征的语义和统计信息,因此在面对误导性元数据时仍能保持稳定的性能。表3. 数据集 HRLFS (0%) 25% 50% 75% 100% 原始 German_Credit 73.07 72.95 72.18 71.41 70.13 65.44 Credit_Default 80.56 79.31 78.11 76.54 75.02 76.10 SpectF 87.56 87.05 86.47 85.57 84.13 75.96 SpamBase 92.60 92.24 91.76 90.96 89.91 90.13 在不同特征描述打乱比例下的性能“原始”表示使用所有原始特征(无FS)时的性能。5.9 LLM生成的元数据置信度分析本实验旨在回答问题:LLM生成的元数据是否可靠?我们采用了LLM可信度评估方法SelfCheckGPT [64]来评估在三个包含缺失值的数据集(包括两个财务数据集German_Credit和Credit_default)上生成的元数据的可靠性。SelfCheckGPT是一种大语言模型(LLM)的置信度指标,它要求LLM指示目标句子是否得到所提供的样本的支持,从而提供一个置信度分数。该分数的范围是0到100,分数越低表示生成内容中的幻觉现象越少,意味着置信度越高。实验结果如表4所示。我们发现所有三个数据集的置信度水平都相对较高。这表明LLM能够根据可用的信息,通过使用数据集元数据和特征名称构建详细的提示来提供合理的特征描述。因此,由于我们提供了详细和具体的提示,生成的特征描述是可信的,并且几乎不存在幻觉问题。

表4. 数据集 German_Credit Credit_DEFAULT SPECTF SelfCheckGPT分数
4.16 12.3 16.81 5.10

5.11 组件运行时间分析
本实验旨在回答以下问题:随着特征维度的增加,HRLFS每个组件的时间消耗如何变化?我们记录了不同特征维度四个数据集中每个组件的时间消耗情况,如图13所示。我们发现探索与优化(Exploration and Optimization)和元数据嵌入(Metadata Embedding)占据了HRLFS总运行时间的大部分,且随着特征维度的增加,它们的时间成本比例进一步上升。这意味着GMM作为一种统计方法,可以高效且精确地提取特征分布,而不受维度增长的影响。用于构建分层代理的成对合并策略具有O(log2N)的时间复杂度,即使在高特征维度下也能实现高效执行。元数据嵌入与特征维度成线性关系,并且需要调用LLM API,这导致其时间开销迅速增加。此外,探索与优化阶段涉及多代理分层决策和通过下游任务进行奖励评估,使其成为主要的耗时模块。总之,尽管探索与优化和元数据嵌入占据了大部分计算成本,但它们主导了HRLFS的性能。第5.2节的分析也证明,与其他基线方法相比,我们的方法在运行时间上有显著优势。

图13. 组件时间消耗的影响

5.11 超参数研究
在本节中,我们分析了HRLFS的两个关键超参数:λ(方程(5)和α(方程(6))。较高的λ值鼓励选择较少的特征,而增加α值则更重视性能而非特征紧凑性。我们在SpectF数据集上对λ和α的值进行了实验调整,范围为0.1–1.0,并将结果报告在图14中。分析显示,λ的变化对模型性能影响较小,但会影响选择特征的数量,最初选择特征的数量会减少,但随着λ的增加而增加。这种模式表明,较高的λ值首先会抑制选择特征的大小,但进一步增加λ值会减少rtq的波动,从而允许包含更多的特征。关于α,增加其值最初会通过强调性能目标来提升模型性能。然而,超过某个点后,由于过多的特征引入了冗余,性能会下降。选择特征的数量随着α的增加而增加,反映了奖励函数中抑制作用的减弱。这些发现表明λ和α在平衡特征数量和模型性能方面至关重要。因此,我们选择了λ=0.6和α=0.4来平衡性能和特征紧凑性。实验结果证实,λ和α能够按照我们的目标调节奖励函数。

图14. 超参数λ和α的影响

5.12 分层假设的实证验证
我们的理论分析基于这样一个观察结果:构建的分层结构倾向于近似一个完美的二叉树。为了实证验证这一假设,我们评估了所有21个数据集中学习到的层次结构的平衡因子和高度。平均节点平衡因子定义为所有节点的左子树和右子树高度之间的平均差异[65]。具体来说,对于一个内部节点N,其左右子树的高度分别为hL(N)和hR(N),定义节点级的平衡因子为β(N)=|hL(N)?hR(N)|,平均节点平衡因子可以表示为:βˉ:=1|Nint|∑N∈Nintβ(N),其中Nint是内部节点的集合。在完美的二叉树中,这种差异永远不会超过1,并且树的高度由节点数量唯一决定。如图15所示,所有数据集的绝对平衡因子都低于1,其中超过80%的数据集的平衡因子在0.5以内。此外,对于18个数据集,我们构建的分层结构的高度与相应的完美二叉树的高度相差不超过2层。这种强烈的相似性是因为我们的代理层次结构构建算法在早期阶段就将大小相似的代理集分组,自然促进了平衡的分裂。总之,平衡性和高度分析都证实了构建的分层结构在实证上类似于完美的二叉树,从而支持了我们假设的有效性。

图15. HRLFS的分层结构与完美二叉树的实证比较

6 相关工作
特征选择(Feature Selection, FS)方法大致可以分为三类:基于过滤的方法、基于包装的方法和基于嵌入的方法[1]。基于过滤的方法[4, 5]评估每个特征与预测目标之间的统计关系或特征之间的相互关系。测量值低于某个阈值的特征将被排除。这些方法计算效率高,但没有考虑特征之间的相互作用,可能导致冗余或次优的特征子集。基于包装的方法[7, 8, 66, 67]通过迭代训练和评估特定的机器学习模型来评估特征子集。然而,随着特征数量的增加,搜索空间变得越来越大,使得这些方法对于大规模数据集来说不切实际[28, 68]。基于嵌入的方法[9–11]将FS直接集成到模型训练过程中。这种方法允许同时优化特征相关性和模型性能,有助于高效地识别相关特征[69–71]。然而,基于嵌入的方法通常与特定类型的模型相关联,限制了它们在其他下游任务中的灵活性和可转移性。此外,某些嵌入技术在应用于大型复杂数据集时仍然可能计算要求较高。

强化学习(Reinforcement Learning, RL)是一种机器学习范式,其中代理通过基于其策略与环境交互来学习做出决策[72]。RL已成功应用于各种研究领域[73–76]。然而,传统的RL算法由于可扩展性和效率的限制,常常难以处理长距离决策任务[77]。为了克服这些挑战,开发了HRL(Hierarchical Reinforcement Learning),它将决策过程分解成多个抽象层次,从而在复杂任务中实现更高效的学习和规划[78, 79]。在HRL的基础上,多智能体强化学习(MAHRL,Multi-Agent Reinforcement Learning)专注于多个HRL代理之间的协调和协作[77, 80–83]。例如,Chakravorty等人[84]研究了合作多智能体系统中的时间抽象学习,而Yang等人[85]展示了将合作MARL(Multi-Agent Reinforcement Learning)算法与单智能体RL结合用于低级技能获取。这些MAHRL的进展启发了我们的方法,我们在MAHRL框架内采用了分而治之的策略。

基于RL的FS(Feature Selection):HRL已被广泛用于将基于包装的FS重新表述为一个目标导向的顺序决策问题,从而实现迭代子空间探索。在早期阶段,Liu等人[24]提出了一个单智能体-全部特征的框架;然而,该方法可扩展性较差且在高维数据上的时间复杂度为O(N)。Liu等人[25]引入了MAAPF(Multi-Agent Allocation of Features)架构,但代理数量的二次增长很快变得不切实际。基于组和基于交互的代理[27, 28]通过简单的统计标准对特征进行聚类,从而缩短了决策范围,但它们忽略了语义和上下文关系,导致选择的结果可能冗余或次优[29, 30]。受到HRL在长距离任务中成功的启发[78, 79],我们采用了分而治之的MAHRL框架,首先对特征进行语义聚类,然后为每个聚类分配合作的分层代理,同时提高了可扩展性、效率和下游性能。

7 结论与讨论
本文研究了从复杂数据集中探索特征子空间的挑战。具体来说,我们将FS问题重新表述为MAHRL框架,包括混合特征状态提取(理解)、分层代理初始化(划分)以及探索和优化(征服)。我们对HRLFS进行了全面评估,展示了它在不同任务和领域的各种数据集中高效、优越且稳健的性能。

8 局限性与讨论
HRLFS依赖于元数据和特征名称来生成特征描述,这使得它容易受到对抗性或恶意构造输入的攻击,这些输入可能会破坏生成的描述。此外,当前的设计和评估仅限于表格数据。将该框架扩展到时间序列、图像或音频等高维模态仍然是一个未解决的挑战。最后,目前的公式专注于标准的监督学习任务(分类和回归)。将HRLFS适应于更多样化的下游目标(包括生存分析、异常检测和因果推断)是未来研究的一个有前景的方向。

为了更好地使用HRLFS,我们准备了以下三个方面的工业化注意事项:
(1) 对于稀疏元数据的冷启动。对于稀疏元数据(例如,未注释的合成数据集),HRLFS将语义向量设置为零,并在语义嵌入ei不可用时回退到仅使用分布式状态(θi?,优化的GMM参数)。这样可以保持核心的聚类和代理决策逻辑,仅通过数学特征特性维护FS性能。
(2) 监控选定特征的漂移。我们跟踪了HRLFS特征簇的两个漂移指标:(i) GMM参数θi?(μ, σ)的统计漂移;(ii) 在保留数据上的任务性能漂移。当漂移发生时,会触发对特征子空间的重新探索,以保持非平稳分布的最优性。
(3) 大规模LLM嵌入的成本控制。对于大规模数据集,通过轻量级的开源模型(例如,Qwen3-Embedding-0.6B [86])来控制LLM嵌入成本,以便本地部署。对于超过105个特征,特征采样用于嵌入以平衡准确性和计算成本。
(4) 重新训练的频率与特征更新率。HRLFS的重新训练频率与特征更新率相匹配:(i) <5%更新率:轻量级策略重新训练;(ii) 5–20%:完整特征重新聚类+策略微调;(iii) >20%:完整的HRLFS重新训练。静态数据集仅在任务目标/指标发生变化时需要重新训练。
相关新闻
生物通微信公众号
微信
新浪微博
  • 搜索
  • 国际
  • 国内
  • 人物
  • 产业
  • 热点
  • 科普

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号