《Results in Engineering》:Enhancing design of experiments through uncertainty estimation and synthetic data generation
编辑推荐:
设计实验(DoE)是优化机器学习模型的关键方法,但传统方法常依赖大量真实数据采集,成本高且耗时。此外,预定义的实验设计难以适应复杂或高维输入空间,在数据稀缺且不确定性高时易导致低效探索。为解决这些挑战,研究人员提出一种将不确定性估计与合成数据生成相整合的方法。
设计实验(DoE)是优化机器学习模型的关键方法,但传统方法常依赖大量真实数据采集,成本高且耗时。此外,预定义的实验设计难以适应复杂或高维输入空间,在数据稀缺且不确定性高时易导致低效探索。为解决这些挑战,研究人员提出一种将不确定性估计与合成数据生成相整合的方法。首先,研究人员评估了若干不确定性估计器(高斯过程(Gaussian Process, GP)、蒙特卡洛丢弃(Monte Carlo Dropout, MC-Dropout)与基于树的集成模型),以识别当前模型最不确定的输入区域。进而,研究人员分析了在不同数据可用度(从仅用真实数据集10%到全量数据)下训练的多种生成模型(变分自编码器(Variational Autoencoders, VAE)、生成对抗网络(Generative Adversarial Networks, GAN)与大语言模型(Large Language Models, LLM)),检验其在极端稀缺条件下的鲁棒性。最终,研究人员将最优不确定性估计器与最可靠生成模型组合进混合主动学习流水线。除标准设定外,研究人员系统调节合成样本与真实样本的数量及比例,展示混合比例如何影响预测精度与不确定性下降。实验结果表明,在极端数据稀缺下高斯过程不确定性估计优于其他被测方法,且变分自编码器仅用10%真实数据训练即可产出最稳定合成样本。完整混合回路(高斯过程+变分自编码器)在取得与基线相当R2的同时显著更快降低不确定性,为昂贵实验场景提供数据高效策略。
研究背景方面,设计实验(DoE)是系统探索输入变量以洞察系统行为并优化性能的基本方法,在机器学习预测任务中用于构建支撑稳健训练的信息化数据集。传统DoE技术如因子设计、响应面法与拉丁超立方采样依赖预定义采样策略,无法动态适应底层模型复杂度或数据分布时变,在数据受限场景中导致次优性能、泛化差与高预测不确定性。主动学习通过基于模型不确定性动态选样可缓解该问题,但真实数据采集在成本或可行性受限时仍不可行,合成数据生成因此成为扩展数据集的关键替代。然而深度生成架构在极端数据稀缺下训练不稳定,需由不确定性引导以聚焦高信息量未探索区域。本研究基于飞秒激光织构化真实工业数据集(仅192条观测,3输入1输出,单次仿真资源消耗大)展开,旨在以数据高效方式加速不确定性消减。
关键技术方法上,研究人员采用三类不确定性估计器:高斯过程回归(以RBF核输出后验方差作为每样本不确定性)、基于XGBoost的树集成(以基学习器预测离散度近似不确定性)、MC-Dropout(深度网络测试期保留丢弃以T=50次随机前向近似方差);以及三类表格数据生成器:条件表格GAN(CTGAN)、变分自编码器(VAE)、微调DistilGPT-2的大语言模型(LLM),各生成器在10%–100%真实数据比例下预训练。主动学习循环以20条初始标注、172条未标注池、48条独立测试集展开,10次随机种子重复,每轮选GP最高方差未标注点取真实标签,邻近由生成器产候选输入并以GP均值伪标注,取L1最近5条合成样本与1条真实样本共同扩训。
研究结果部分,第5.1节不确定性测量分析显示,XGBoost集成不确定性由0.33降至0.14(降57%),GP由0.466降至0.27(降42.1%),随机采样降至0.33(降27.7%)且波动大,MC-Dropout不降反升(0.44至0.46);测试R2上GP由0.91于第7轮达0.98并趋近0.99,XGBoost至0.96,随机最终近GP但变异大,MC-Dropout仅至0.92。研究人员据此选GP为混合框架唯一不确定性引导采样器。第5.2节合成数据生成分析中,5.2.1训练于合成测试于真实(TSTR)表明VAE在10%数据即达R2=0.72±0.12,满数据0.91±0.04;LLM在10%时R2=-0.14±0.46,满数据0.92±0.01;CTGAN各比例均低于0.40且满数据仅0.04±0.09。5.2.2最近记录距离(DCR)显示真实基线中位数2.2,CTGAN中位数11.5–21.5,VAE从23.5收窄至3.8,LLM中位数恒为0(疑似记忆复现)。5.2.3判别器分数中CTGAN与VAE准确率0.83–0.90,LLM由0.76降至0.56。综合选VAE为最稳生成器。第5.3节混合主动学习管线(GP+VAE)结果表明,该回路在R2与基线相当前提下不确定性下降显著更快。
讨论与结论部分,研究人员指出高斯过程在极端稀缺下提供最忠实不确定性估计,变分自编码器以强归纳偏置产出流形邻近且多样的合成样本,二者闭环较单纯随机采样或单用MC-Dropout大幅提速置信收敛。该不确定性引导合成增强范式将实验设计由静态统计工具重构为动态、模型知情、数据高效的迭代过程,对飞秒激光织构等单次实验昂贵的工业场景具明确应用价值。论文结论确认:GP不确定性估计在极端数据稀缺下优于MC-Dropout与树集成;VAE仅用10%真实数据即生成最稳定合成样本;GP+VAE混合主动学习回路在维持R2同时显著加速不确定性消减,构成面向高成本实验环境的数据高效DoE策略。