多模态心理状态评估与视觉搜索:以用户为中心的语义网平台设计
张旭升(Xusheng Zhang)、
詹卢卡·迪弗卢梅里(Gianluca Di Flumeri)、
亚历西亚·沃齐(Alessia Vozzi)、
安德烈亚·乔治(Andrea Giorgi)、
帕特里齐亚·切鲁比诺(Patrizia Cherubino)、
阿里安娜·特雷特尔(Arianna Trettel)、
斯蒂法诺·梅尼科奇(Stefano Menicocci)、
詹卢卡·博尔吉尼(Gianluca Borghini)、
法比奥·巴比洛尼(Fabio Babiloni)以及
文森佐·龙卡(Vincenzo Ronca)
+ 1位作者
《Applied Sciences》:Multimodal Assessment of Mental States and Visual Search for a User-Centred Design of Semantic Web Platforms
Xusheng Zhang,
Gianluca Di Flumeri,
Alessia Vozzi,
Andrea Giorgi,
Patrizia Cherubino,
Arianna Trettel,
Stefano Menicocci,
Gianluca Borghini,
Fabio Babiloni and
Vincenzo Ronca
+ 1 author
【字体:
大
中
小
】
时间:2026年05月12日
来源:Applied Sciences 2.5
编辑推荐:
特色应用:所提出的多模态框架可以应用于电子学习创作平台的目标评估和优化,支持识别传统问卷无法单独检测到的可用性瓶颈。通过结合神经生理学、眼动追踪和基于交互的指标,该方法使设计师和开发者能够对复杂的网络界面进行数据驱动的、以用户为中心的改进。这种方法可以应用于迭代的用户体验(UX)
特色应用:所提出的多模态框架可以应用于电子学习创作平台的目标评估和优化,支持识别传统问卷无法单独检测到的可用性瓶颈。通过结合神经生理学、眼动追踪和基于交互的指标,该方法使设计师和开发者能够对复杂的网络界面进行数据驱动的、以用户为中心的改进。这种方法可以应用于迭代的用户体验(UX)设计过程中,以提高平台可用性,减少内容创建期间的认知负荷,并最终促进非专业用户采用数字教育技术。
**摘要**
**背景**:数字学习平台越来越多地利用语义网技术来支持互操作和适应性的电子学习。然而,基于网络的创作工具的可用性和认知影响仍然主要通过主观问卷和交互日志来进行评估,这些方法在识别特定界面瓶颈方面提供的时间分辨率较低,诊断能力较弱。
**方法**:我们提出了对SOULSS(一个面向语义网的数字学习内容创建和优化平台)的多模态评估方法。十八名参与者完成了分为三个宏观阶段的创作工作流程(教程、初始化、模块创建),同时记录了可穿戴脑电图(EEG)、皮肤电活动(EDA)、光电容积脉搏图(PPG)和眼动数据;在宏观阶段和预定义的微观活动中分析了客观指标,并在每个宏观阶段后使用UES-SF收集了主观参与度数据。
**结果**:客观测量结果显示,在初始化和模块创建期间,大脑的工作负荷和压力增加,交感神经兴奋度升高,视觉搜索和交互努力增加,而UES-SF得分在初始化期间较低。详细分析确定了关键问题位于教程导航选项、新课程入口点和与剧透相关的控制部分。重复测量相关分析将主观得分与客观指标联系起来,支持了压力相关激活与延迟视觉发现之间的关联。
**结论**:整合神经生理学和眼动追踪测量比单独使用问卷能够对基于语义网的创作平台进行更全面的诊断评估,为迭代UX优化提供可操作的证据,并支持更以用户为中心的数字教育工具设计。
**1. 引言**
在过去十年中,数字学习已经从辅助资源发展成为各级教育的核心组成部分。学习管理系统、大规模开放在线课程平台(MOOCs)和领域特定的创作工具现在支持了大部分正式和非正式的教学,使得教育能够灵活、可扩展且通常成本较低地获得。这一趋势在COVID-19疫情期间显著加速,当时世界各地的教育机构被迫迅速转向在线和混合形式,并逐渐将这些数字实践纳入所谓的“新常态”高等教育中[1,2,3]。虽然这种转型带来了前所未有的机会,但也引发了关于电子学习环境实际效果、可用性和认知影响的担忧,特别是在学习者长时间接触复杂界面和丰富交互内容的情况下。
除了这些机会外,数字教育的有效采用还取决于用于创建和组织学习材料的工具的可用性。如果内容创作平台难以导航、认知要求高或与用户期望不符,其潜在的好处可能只能部分得到利用。这个问题对于教师、辅导教师和教学人员尤其重要,因为他们往往需要在没有专门技术培训的情况下,在实际操作限制下使用数字创作环境。因此,评估内容创建者的用户体验不仅是可用性问题,也是数字教育创新广泛接受和可持续利用的前提。
与此同时,语义网技术和本体论已成为实现更智能和适应性电子学习系统的关键推动因素。最近的系统评论表明,学习资源、用户资料和教学策略的语义表示越来越多地被用来支持个性化推荐、活动的动态排序以及平台之间的互操作性[4,5]。基于本体论的方法通常借助软件代理来定制学习路径以适应个人偏好和能力,并以结构化的方式管理大量异构教育对象[6]。然而,大多数这些系统从明确输入(如测验、评分和问卷)或交互日志(如点击和停留时间)中推断学习者状态。因此,与这些系统交互相关的内部认知和情感过程只能间接捕获,可能会被误估,特别是在用户需要探索复杂界面、识别隐藏功能或完成不熟悉创作程序时。
用户体验和可用性研究在行为层面取得了重要进展。对于学习管理系统,眼动追踪已被用来研究课程布局、导航元素和视觉层次结构如何引导注意力并支持任务完成[7,8]。关于可用性研究中眼动追踪的系统评论强调,注视指标(如注视次数、首次注视时间和扫描路径熵)提供了关于搜索策略、困惑和视觉过载的详细信息,这是传统可用性问卷无法提供的[9]。尽管如此,这些方法仍然主要局限于表面行为,并不能直接反映不同界面组件引发的潜在认知负荷、压力或参与度。
近年来,神经生理学测量作为描述学习体验质量的有希望的补充渠道而出现。在电子学习环境中,脑电图已被用来估计在线课程和交互任务期间的认知努力,通常在认知负荷理论的框架内[10,11,12]。例如,Lin和Kao证明了频谱EEG特征可以可靠地区分学习者在在线环境中解决问题时的低和高认知努力[10]。Zhou及其同事展示了基于EEG的大脑-计算机接口可以在学生学习教学视频时实时跟踪认知负荷,为动态调整内容节奏提供了可能[11]。其他研究将这一理念扩展到大规模在线课程,使用被动脑-计算机接口(BCI)来监控学习者,并通过机器学习模型对他们进行分类[13,14]。这些研究表明,EEG指数可以提供超出自我报告测量的数字课程所施加的认知需求的客观标志。
最近,提出了多模态方法,通过结合EEG与自主神经和行为信号来更全面地捕捉学习者状态。Simonetti等人使用可穿戴EEG、皮肤电活动、光电容积脉搏图和眼动追踪来比较学生远程和面对面驾驶学校课程期间的体验,表明神经生理标志可以揭示与主观报告一致的认知负荷和参与度差异,且时间精度更高[15]。在此基础上,Ronca等人引入了一个多模态神经生理框架来评估不同类型的数字教育内容,结合EEG、皮肤电和心脏指数与问卷来比较教育视频、学术视频和基于文本的材料[12]。他们的结果强调了神经生理参与度和分心指数可以区分内容类型,并预测感知到的努力和参与度,证明了使用可穿戴设备客观描述真实场景中学习材料影响的可行性。
越来越多的工作正在探索闭环神经适应系统,在这些系统中,神经生理信号不仅被监测,还被用来实时修改学习环境。例如,Beauchemin等人开发了一种基于EEG的被动BCI,根据估计的认知负荷调整信息呈现的速度,在特定动机条件下提高了学习收获和主观体验[16]。类似的适应机制也被提出用于根据从EEG获得的注意指数调整难度水平或提供反馈[11,16,17,18]。这些研究指出,未来的发展方向是语义网基础的学习模型和本体论可以丰富在线神经生理描述符,使电子学习平台不仅能够了解学习者知道什么,还能了解他们的大脑和身体对特定界面元素和学习活动的反应。尽管这些研究主要关注学习者在内容消费期间的认知状态,但它们为将客观评估扩展到数字教育流程中另一个关键但较少探索的阶段(即内容创作和配置)提供了重要的方法论基础。
虽然以用户为中心和以学习者为中心的设计原则在数字教育中得到了广泛讨论,但创造和上传教育内容的人的体验却相对较少受到关注。大多数文献关注学习者与数字材料的交互,而针对教师和内容设计者的创作平台的可用性则较少通过客观测量进行调查。然而,这一阶段的困难可能会直接影响平台的采用、生成材料的质量以及数字教育生态系统的长期有效性。
尽管取得了这些进展,仍存在几个空白。首先,大多数神经生理学研究集中在学习内容的消费上,如视频或讲座,而不是教师和教学设计师用来创建和管理这些内容的平台和创作工具的可用性。其次,只有少数工作将神经生理学指标明确地与复杂界面的具体设计建议联系起来,例如,识别哪些导航元素、小部件或交互模式与工作负荷高峰或不稳定的注意力相关。第三,神经生理学指标与语义网技术的整合仍然主要是概念性的:当前的适应性电子学习系统很少将生理数据纳入其用户模型或本体论中,系统的方法仍在开发中[4,12,13]。
本研究通过提出并应用多模态神经生理学和眼动追踪框架来解决这些空白,评估SOULSS(一个面向语义网的平台,链接:https://learn.soulss.eu/,2026年4月27日访问)的可用性和效率,该平台旨在支持数字学习内容的创建和优化。在之前关于教育体验的神经生理学评估[12,15]和学习管理系统的眼动追踪基础可用性分析[7,8,9]的研究基础上,我们评估了SOULSS平台的具体部分如何影响用户在真实创作任务中的认知负荷、压力、注意力和视觉探索。结合脑电图、皮肤电活动、光电容积脉搏图和标准化可用性问卷,得出了关键界面组件(如导航选项、教程元素、剧透控制和内容编辑小部件)的神经认知和行为指数。
因此,本研究的主要目标有两个。首先,我们旨在证明神经生理学和眼动追踪测量为评估电子学习创作平台的效率提供了敏感且互补的信息,补充了传统可用性问卷。其次,我们试图识别SOULSS中与增加的工作负荷、压力或不稳定注意力相关的特定界面元素和交互模式,从而提供具体的、数据驱动的建议以进行以用户为中心的平台设计。除了这两个主要目标外,我们还讨论了所提出的框架如何为未来适应性和语义增强型教育系统的发展提供信息,同时承认本研究没有直接将神经生理描述符集成到平台的语义层中。重要的是,应将本研究视为使用先前提出的神经生理学和眼部指标进行的以应用为导向的可用性评估,而不是对新生物标志物的验证研究,也不是闭环语义网系统的操作性实现。
**2. 材料和方法**
2.1. 参与者
十八名(18岁,平均28.6±4.59岁,10名女性)成年志愿者参与了SOULSS网络平台的实验性可用性评估(链接:https://learn.soulss.eu/,2026年4月27日访问)。所有参与者都是大学社区的工作人员(如教授、助理等),熟悉常见的数字学习工具和教育内容。所有参与者的视力正常或经过矫正,且均无神经系统或精神疾病史。在实验前,参与者收到了程序的详细说明并签署了知情同意书。该研究符合赫尔辛基宣言的规定,并得到了罗马萨皮恩扎大学伦理委员会的批准(协议代码2024/03-002)。
2.2. 实验协议和电子学习平台场景
实验的目的是在真实使用场景中评估SOULSS学习平台关键部分的可用性和神经生理影响。参与者坐在安静实验室的电脑显示器前,佩戴EEG、PPG、EDA和眼动追踪设备与意大利语版本的平台进行交互。在实际记录过程中,参与者在大约60-70厘米的自然观看距离下与主显示器上的SOULSS平台进行交互。眼动追踪器的位置根据制造商的建议放置在显示器下方。采集计算机和用于信号监测的设备被放置在参与者侧边,且在主要互动区域之外,以避免遮挡视野或干扰鼠标和键盘的使用。在会话开始时,记录了60秒的睁眼静息基线数据,期间参与者注视着一个中性屏幕。这一基线数据随后被用于神经生理指标的标准化,这遵循了先前关于多模态学习评估的研究[12,16]。互动会话被分为三个宏观部分:教程、初始化和模块创建。这种分割方式便于进行两级分析。首先,比较了三个宏观部分中的所有客观指标,以捕捉与可用性相关的认知和情感需求的整体差异。其次,在每个宏观部分内部,以更细致的粒度重新计算相同的客观指标,以识别与指标显著变化相关的具体活动。这种设计突显了时间分辨客观测量的附加价值,因为神经生理数据和眼动追踪数据可以在整个互动过程中持续量化,而主观评分只能在每个宏观部分完成后收集。
1. 首页自由导航(培训和心态调整)
参与者被要求自由探索首页,以便熟悉平台的整体布局、菜单结构和主要入口点。这一实验部分旨在让参与者练习使用基于Web的平台,因此未被纳入统计分析。
2. 教程
这一部分对应于教程宏观部分,从可用性的角度将其分为以下三个互动组件进行细致分析:
- 教程内的导航选项(在不同章节和页面之间的移动)。
- 显示解释和指令的文本框。
- 嵌入的视频内容。
3. 初始化和模块创建
完成教程后,参与者开始了课程创作工作流程。这一阶段对应于初始化和模块创建宏观部分,包括启动新课程和进入创作环境所需的操作,例如识别并选择新的课程入口点以及完成访问模块编辑器所需的初始配置步骤。这些活动在宏观部分层面以及作为部分内部的微活动进行了分析,以确定哪些步骤主要导致了客观指标的变化。然后要求参与者创建一个简单的课程。这一阶段关注的是:
- “新课程”入口点的可发现性和清晰度。
- “剧透”选项的使用,这些选项允许逐步揭示学习内容。
指导参与者尽可能自然地完成任务,就像他们在使用平台准备自己的材料一样,没有任何时间压力。互动结束后,他们填写了一份可用性和参与度问卷(图1)。
**图1. 实验设置。** 该图展示了研究中采用的多模态记录配置,包括在与SOULSS平台互动期间的EEG、PPG、EDA和眼动追踪。图片仅用于说明目的,并非在实验过程中拍摄。在实际记录过程中,采集计算机的位置被安排得不会干扰参与者与平台的互动。
2.3. 多模态数据收集与处理
2.3.1. 脑电图
脑电活动是通过Mindtooth Touch可穿戴EEG系统(Brain Products GmbH,德国Gilching和BrainSigns srl,意大利Rome)记录的,该系统已在生态学环境中的被动BCI应用中得到验证[19,20]。头盔集成了八个EEG记录通道,分别位于前额叶和顶叶区域(AFz、AF3、AF4、AF7、AF8、Pz、P3、P4,根据国际10-10系统)。参考电极和接地电极位于乳突区域,通过头盔配置中的专用电极放置,信号采集率为125 Hz。分析是在传感器空间神经生理指标层面进行的,没有尝试进行源级解释。电极电阻保持在100 kΩ以下,并在整个会话过程中监测信号质量。预处理使用Matlab(v2024b,MathWorks Inc.,美国Natick)和EEGLAB工具箱[21]完成。原始EEG数据通过五阶巴特沃斯滤波器在2至30 Hz之间进行带通滤波,并应用50 Hz的陷波滤波器以去除主要干扰。
2.3.2. 光电容积描记法
通过佩戴在非主导手腕上的Shimmer3 GSR+模块(Shimmer Sensing,爱尔兰都柏林)记录外围心血管活动。信号采样率为64 Hz。PPG信号通过五阶巴特沃斯滤波器在0.5至5 Hz之间进行带通滤波,以去除慢速漂移和高频噪声,同时保留与心跳相关的脉动成分。然后使用o-CLEAN算法[22,23]校正眼球伪迹,这是一种专门为低密度、可穿戴EEG记录中精确检测和校正眨眼相关伪迹的多阶段方法。剩余的伪迹(如肌肉爆发或运动相关污染)通过基于±80 μV幅度阈值的自动程序和视觉检查相结合的方式检测,并拒绝污染的记录帧。对于所有参与者,拒绝的记录帧比例在各个通道中均低于8%,与先前的研究结果一致[12,13]。
对于每个无伪迹的记录帧和通道,计算功率谱密度并在标准频率带(即θ波、α波、β波)内进行积分。然后使用额叶和顶叶区域的全场功率(GFP)[24]推导出三个神经生理指标:
- 基于前额θ波和顶叶α波活动比值的心理工作负荷指标,该指标已在真实驾驶场景中得到验证[25,26,27,28,29]。
- 基于顶叶高β波功率的压力指标,这种压力相关的神经生理指标在翻译性被动BCI应用中得到使用[19,30,31,32,33]。该指标并非为当前实验专门开发,但已在动态、操作性和真实的神经工程学环境中得到验证和应用,包括使用相同可穿戴EEG系统和类似预处理程序的研究。因此,在本研究中,它被用作适合生态学被动BCI应用的应力相关激活的传感器空间指标,而不是特定神经生成的应力标记。
- 注意力指标,其概念上与θ波与β波比值的倒数相关,并已被验证为生态任务中注意力投入和分心的标记[34,35,36]。
根据研究最佳实践[37],每个指标都相对于睁眼静息基线进行了z分数标准化,其中零表示个体中性水平,正值表示在使用平台期间工作负荷、压力或注意力的增加。对于主要分析,指标在两个宏观条件(即教程 vs. 模块创建)内进行了平均,必要时还在特定互动步骤(例如导航选项、剧透配置)内进行了平均。
2.3.3. 光电容积描记法
2.3.1. 脑电图
脑电活动是通过Mindtooth Touch可穿戴EEG系统记录的(Brain Products GmbH,德国Gilching和BrainSigns srl,意大利Rome),该系统已在生态学环境中的被动BCI应用中得到验证[19,20]。头盔集成了八个EEG记录通道,分别位于前额叶和顶叶区域(AFz、AF3、AF4、AF7、AF8、Pz、P3、P4,根据国际10-10系统)。参考电极和接地电极位于乳突区域,通过头盔配置中的专用电极放置,信号采集率为125 Hz。分析是在传感器空间神经生理指标层面进行的,没有尝试进行源级解释。电极电阻保持在100 kΩ以下,并在整个会话过程中监测信号质量。预处理使用Matlab(v2024b,MathWorks Inc., 美国Natick)和EEGLAB工具箱[21]完成。原始EEG数据通过五阶巴特沃斯滤波器在2至30 Hz之间进行带通滤波,并应用50 Hz的陷波滤波器以去除主要干扰。
2.3.4. 眼动追踪
眼动行为是通过Tobii Eye Tracker 5(Tobii AB,瑞典Danderyd)记录的,设备放置在显示器下方。在开始任务之前,根据制造商指南对每位参与者进行了标准校准程序。在教程和模块创建部分的主屏幕上手动定义了感兴趣区域(AOIs),这符合HCI和可用性研究中的标准眼动追踪实践,其中基于AOI的指标用于量化搜索效率和注意力分配[8,43]。眼动追踪数据被处理以提取每个AOI和条件的以下指标[44,45]:
- 注视次数(FC)——该区域内总的注视次数。
- 首次注视时间(TFF)——从屏幕开始到该区域内首次注视的潜伏期。
此外,还提取了完成所需操作所需鼠标点击次数(MCs),作为补充的基于互动的可用性指标。随后计算了注视热图,以可视化注视的空间分布,并识别出吸引不成比例注意力的区域,这是应用眼动追踪进行可用性评估中广泛采用的可视化方法[46,47]。指标按试验汇总,然后按实验条件和界面元素进行总结。由于参与者与具有不同亮度、对比度和视觉内容的屏幕和界面元素互动,因此本分析中未包括瞳孔直径。由于瞳孔大小受到低级视觉属性的强烈影响,将其解释为认知负荷的标记需要额外的亮度控制或校正程序,而这些不在当前协议范围内。因此,当前的眼动追踪分析专注于基于注视的测量和与作者工作流程中的视觉搜索和行动效率更直接相关的互动指标。
2.4.1. 主观可用性评估
在每个宏观部分(即教程、初始化和模块创建)结束时,参与者完成了基于Web的用户参与度量表简短版(UES SF)[9,48]的填写,该问卷适应于数字学习平台的背景。问卷包含分为专注注意力、感知可用性、美学吸引力和奖励三个维度的条目。条目在利克特量表上评分,得分在每个子量表内以及所有条目之间进行平均,以获得整体参与度和可用性得分。更高的值表示更好的感知可用性和参与度。由于问卷在每个宏观部分后进行,因此主观测量仅在宏观部分层面可用,无法针对部分内部的微活动进行计算。为了避免中断自然的创作工作流程和改变平台互动期间记录的神经生理和眼动数据,主观与客观的收敛性在宏观部分层面进行评估,而微活动分析仅依赖于客观测量。使用Cronbach’s alpha分别评估了适应后的UES-SF全局分数的内部一致性。在不同次测量的可靠性为良好,alpha值介于0.79到0.84之间。
2.4.2. 指标和统计分析
对于每位参与者,计算了所有三个宏观部分(教程、初始化和模块创建)的客观指标。EEG衍生的神经生理指标、自主指数(EDA和PPG衍生的测量)以及眼动追踪参数作为时间分辨测量进行量化,然后在每个宏观部分内进行汇总,以便进行跨部分比较。此外,在每个宏观部分内部,针对预定义的微活动计算相同的客观指标,以识别与工作负荷、压力、注意力投入、自主激活或视觉搜索效率显著变化相关的特定互动步骤。相反,由于问卷在每个宏观部分完成后进行,主观可用性和参与度得分仅在宏观部分层面可用。
2.4.3. 分布
首先直观检查每个变量的分布,然后使用Shapiro–Wilk检验测试其正态性,该检验适用于小样本量[49]。当可以假设正态性时,使用配对样本t检验比较教程和模块创建条件,或在同一部分内的特定界面元素。当正态性不满足时,改为使用非参数的Wilcoxon符号秩检验。由于UES SF分数来源于序数李克特型量表项目,并不满足正态性假设,因此主观结果的宏观段落比较使用了Friedman检验(非参数重复测量方差分析,基于秩)进行,随后进行了Wilcoxon符号秩后验检验,并应用了Holm–Bonferroni校正。Friedman检验的效果量使用Kendall’s W表示,而成对Wilcoxon比较的效果量使用r表示。宏观段落比较(即教程、初始化、模块创建)使用三水平的单因素重复测量方差分析进行。当结果显著时,进行了后验配对比较,并对多重检验进行了p值校正(Holm–Bonferroni校正)。在每个宏观段落内,使用相同的统计框架来比较预定义的微观活动及其对应的客观指标。显著性水平设定为α = 0.05。在相关情况下,报告了效果量(即参数检验的Cohen’s d或非参数检验的r)以支持解释。所有统计比较都在宏观段落层面(教程与初始化与模块创建)以及每个宏观段落内的相应微观活动之间进行,具体使用何种检验取决于正态性假设。
为了探索客观神经生理负荷与主观可用性之间的联系,对EEG指标和UES分数在各种条件和交互步骤下的相关性进行了重复测量分析[50]。该方法估计了在重复测量中两个变量之间的共同参与者内关联性,同时考虑了观察值的非独立性。所有分析均在Matlab(v2024b)和R(v0.18.9)中完成。
**3. 结果**
结果部分分为不同的段落,以展示从不同指标(即神经生理和主观指标)分析中得出的统计结果。在每个段落中,结果分别从两个方面进行展示:(i)考虑三个实验宏观段落(即教程、初始化和模块创建);(ii)考虑每个宏观段落中的相关交互部分(例如,教程宏观段落的导航选项、文本内容和视频内容;初始化和模块创建宏观段落的新的课程入口点和剧透选项)。
**3.1. 基于EEG的发现**
关于考虑三个实验宏观段落的分析,方差分析显示,在模块创建期间注意力指数显著更高(F(2,34) = 4.12, p = 0.025, ηp2 = 0.20),而压力(F(2,34) = 6.05, p = 0.0057, ηp2 = 0.26;经Holm校正后的后验p = 0.02)和心理工作负荷(F(2,34) = 8.21, p = 0.0012, ηp2 = 0.33;经Holm校正后的后验p = 0.01)在初始化和模块创建宏观段落期间也显著更高(图2)。图2显示了SOULSS平台交互过程中基于EEG的神经测量指标的宏观段落比较。报告了三个实验宏观段落(教程、初始化、模块创建)的心理工作负荷、压力和注意力指数(相对于个体静息基线的z分数)。通过带Holm–Bonferroni校正的后验比较的单因素重复测量方差分析评估了组间统计。与教程相比,初始化和模块创建期间的工作负荷和压力显著增加,而注意力在模块创建期间更高。*表示统计上显著的比较。针对每个实验宏观段落内相关交互部分的统计分析显示,在教程模块活动中,当参与者与导航选项交互时,他们的心理工作负荷和压力显著增加(压力:F(2,34) = 7.02, p = 0.0025, ηp2 = 0.29;心理工作负荷:F(2,34) = 9.10, p < 0.001, ηp2 = 0.35;经Holm校正后的p < 0.03)。相反,在与导航选项交互时,参与者的注意力指数显著降低(F(2,34) = 6.48, p = 0.004, ηp2 = 0.28;经Holm校正后的p = 0.04)。在初始化宏观段落中,新的课程入口点导致比其他初始化步骤更高的心理工作负荷(t(17) = 3.10, p = 0.006, d = 0.73)和压力(t(17) = 2.65, p = 0.016, d = 0.62)。在模块创建宏观段落中,剧透选项与其他创作动作相比,与心理工作负荷(t(17) = 2.45, p = 0.025, d = 0.58)和注意力指数的显著变化相关(t(17) = 2.21, p = 0.041, d = 0.52)。所有统计结果均记录在表1中。
**3.2. 基于自主神经系统的发现**
对PPG相关特征(即心率和心率变异性HRV)的统计分析未发现显著效果(心率:F(2,34) = 0.82, p = 0.45, ηp2 = 0.05;HRV:F(2,34) = 1.02, p = 0.37, ηp2 = 0.06)。关于EDA相关参数,特别是SCL,在考虑三个实验宏观段落时观察到了显著的主效应。具体而言,SCL在初始化和模块创建条件下显著更高(F(2,34) = 5.32, p = 0.009, ηp2 = 0.24;经Holm校正后的p = 0.01)。在考虑SCR时未观察到统计效果(F(2,34) = 1.11, p = 0.34, ηp2 = 0.06)(图3)。图3显示了不同宏观段落中用户体验的自主神经相关指标。心率(HR)和心率变异性(HRV)来自PPG,而皮肤电导水平(SCL)和皮肤电导反应(SCRs)来自EDA。HR和HRV在不同条件下没有显著差异,而SCL在初始化和模块创建期间表现出更高的紧张性唤醒。使用带Holm–Bonferroni校正的后验比较的单因素重复测量方差分析测试了统计效应。*表示统计上显著的比较。关于每个实验宏观段落内相关交互部分的分析,方差分析显示,在初始化和模块创建期间,当参与者与新课程按钮和剧透选项交互时,SCL显著更高(F(2,34) = 4.95, p = 0.013, ηp2 = 0.23;经Holm校正后的p = 0.03)。在考虑教程宏观段落时,未观察到SCL变化的显著结果。所有统计结果均记录在表2中。
**3.3. 基于眼动追踪和交互的可用性发现**
作为额外的控制分析,将宏观段落持续时间作为协变量纳入线性混合效应模型。宏观段落对SCL的影响仍然显著,F(2, 32.8) = 4.21, p = 0.024,而持续时间本身并不是显著的预测因子,F(1, 39.5) = 1.36, p = 0.25。后验比较确认初始化和模块创建期间的SCL高于教程,表明紧张性唤醒的差异不能完全由任务时间解释。对基于眼动追踪和交互的可用性指标(即FC、TFF和MC)进行的方差分析得出的结果与分析EEG和自主神经系统指标的结果一致。更具体地说,统计分析显示,在初始化和模块创建宏观段落期间,TFF和MC显著更高(TFF:F(2,34) = 10.62, p < 0.001, ηp2 = 0.38;MC:F(2,34) = 7.85, p = 0.0016, ηp2 = 0.32)。在考虑FC参数时未发现显著效果(F(2,34) = 1.34, p = 0.28, ηp2 = 0.07)(图4)。图4显示了不同宏观段落中的视觉搜索效率和交互努力的眼动追踪指标。报告了教程、初始化和模块创建期间的注视次数(FC)、首次注视时间(TFF)和鼠标点击次数(MCs)。TFF和MC在初始化和模块创建期间增加,表明视觉搜索需求和交互努力增加,而FC在不同宏观段落间没有显著差异。通过单因素重复测量方差分析评估了组间效应。*表示统计上显著的比较。针对每个实验宏观段落内相关交互部分的分析显示,在教程模块活动中,当计算文本选项交互期间的TFF时显著降低(t(17) = 4.05, p < 0.001, d = 0.95),而当参与者与导航选项交互时MC显著增加(t(17) = 2.98, p = 0.008, d = 0.70)。关于初始化和模块创建宏观段落,与新课程按钮的交互被认为是最关键的,因为TFF和MC始终显著更高(TFF:t(17) = 2.52, p = 0.021, d = 0.59;MC:t(17) = 2.36, p = 0.030, d = 0.56)。所有统计结果均记录在表3中。
**3.4. 主观可用性评估**
仅沿实验宏观段落进行了基于UES SF分数的主观可用性感知的统计分析,因为此类问卷只能在教程、初始化和模块创建部分结束时填写。Friedman方差分析显示,与教程和模块创建相比,初始化宏观段落的UES SF分数显著较低(χ2(2) = 8.94, p = 0.011, Kendall’s W = 0.25)(图5)。图5显示了不同宏观段落之间的主观参与度和可用性(UES SF)。在每个宏观段落(教程、初始化、模块创建)之后报告了用户参与度量表简表(UES SF)分数。与教程和模块创建期间观察到的工作负荷和唤醒峰值一致,初始化期间的主观分数较低。*表示统计上显著的比较。
**3.5. 相关性分析**
最后,进行了一项决定性的统计分析,以评估神经生理和眼动追踪测量结果与主观可用性感知之间的相关性(图6)。重复测量相关性分析揭示了以下显著关系:
**图6. 主观可用性与客观用户状态指标之间的重复测量相关性。**
散点图显示了参与者在重复条件下的特定观察结果以及通过重复测量相关性估计的参与者内共同关联。观察到UES-SF分数与基于EEG的心理工作负荷、UES-SF分数与基于EEG的压力相关指数、UES-SF分数与首次注视时间(TFF)以及基于EEG的压力相关指数与TFF之间的显著关联。基于EEG的心理工作负荷指数与UES SF分数的相关性:R = ?0.54, p < 0.001;基于EEG的压力指数与UES SF分数的相关性:R = ?0.45, p = 0.008;TFF与UES SF分数的相关性:R = ?0.48, p = 0.007;基于EEG的压力指数与TFF的相关性:R = 0.49, p = 0.007。
**4. 讨论**
本研究旨在提出并展示一种多模态方法的附加值,该方法结合了传统的可用性评估技术和现代神经科学方法,以评估学习内容的可用性,从而通过数据驱动和以用户为中心的方法指导其设计。作为实际案例,该研究依赖于通过结合神经生理信号、眼动追踪和主观问卷的多模态框架来评估SOULSS语义网络导向的创作平台的效率和可用性。第一个目标是证明客观测量提供了比自我报告更互补且时间分辨率更高的信息。第二个目标是识别哪些界面元素和交互模式与增加的心理工作负荷、压力或不稳定的注意力有关,从而为以用户为中心的设计提供具体的、数据驱动的建议。总体而言,宏观段落分析突出了跨模态的一致性模式。基于EEG的神经测量数据显示,在初始化和模块创建期间的工作负荷和压力高于教程期间,而注意力在模块创建期间更高[12,15]。重要的是,模块创建期间注意力指数的增加不应被解释为内在的积极标志。鉴于其与更高的工作负荷和压力的共现,它更可能反映了由要求苛刻的创作任务所需的努力性注意力集中。因此,注意力是根据其他神经生理和行为指标来解释的,而不是作为最佳用户体验的独立指标。眼动追踪证实了在同一阶段中交互努力和视觉搜索需求的增加,这体现在首次注视时间和鼠标点击次数的增加上,而注视次数并未区分不同条件[9,44,48]。这种分离表明,问题不在于总体视觉探索量的增加,而在于搜索效率和动作清晰度的降低。用户并不一定产生了更多的注视,但他们需要更多的时间来定位相关的界面元素,并需要更多的点击来完成所需操作。从用户体验的角度来看,这种模式与较低的可发现性、次优的视觉层次结构或特定控件的不明确性相符。自主神经系统活动进一步支持了这些结果,在初始化和模块创建期间表现出更高的交感神经系统紧张性(SCL),而HR和HRV没有明显变化。相比之下,心率和心搏变异性(HRV)在宏观阶段之间没有显示出显著的波动。这些空结果应谨慎解读,因为心腔指数,尤其是HRV,可能会受到呼吸和其他副交感神经因素的影响,而这些因素在当前的研究方案中并未被直接监测。最后,通过UES SF衡量的主观可用性和参与度在初始化阶段明显低于教程和模块创建阶段。综合这些发现,表明用户体验中最具挑战性的部分是发现和启动创作流程,用户必须在没有太多指导的情况下识别入口点并推断界面功能。所提出方法的一个关键附加价值是其在宏观阶段内的详细分析能力,这使我们能够识别出驱动整体效果的具体微观活动。在教程阶段,导航选项引起了最高的工作量和压力,同时注意力指数也较低;而眼动追踪显示,在导航过程中点击次数增加。相反,视频内容的压力较低,注意力较高,这与更具引导性和可预测的交互方式一致。这种差异揭示了学习平台可用性评估的一个重要点:认知需求的增加可能并非源自内容的复杂性本身,而是来自控制和定向的需求,即需要理解下一步该做什么以及有哪些可用动作。在初始化阶段,新课程入口点被证明是最关键的组件,它相比其他初始化步骤产生了更高的脑电图(EEG)工作量和压力,并伴随着更长的首次注视时间和更多的鼠标点击次数,表明视觉发现过程被延迟,交互尝试也增加了。在自主神经层面,最关键交互时刻的SCL(皮肤电反应)升高,进一步表明在界面探索期间存在持续的觉醒状态。在模块创建阶段,剧透选项与增加的心理工作量和更高的SCL相关,而基于EEG的压力相关指数则没有显示出显著的变化。这种差异表明,基于EEG的压力相关激活和皮肤电传导反应(EDR)的激发应该是互补的,而不是重复的指标。SCL反映了持续的交感神经觉醒,可能对长时间的交互、新奇性或定向反应敏感,而基于EEG的压力相关指数则捕捉到了与应用神经工效学设置中相关的压力相关激活的传感器空间神经测量成分。因此,剧透相关的模式可能表明存在持续的自主神经觉醒和认知努力,但并不伴有EEG压力相关激活的同步增加。这强调了在解释多模态结果时,需要考虑各项指标之间的收敛性和发散性,而不是假设所有指标对于每个界面元素都应朝同一方向变化。为了便于非专家用户(如用户体验设计师、开发人员或平台管理人员)实际解读所提出的多模态框架,不同指标不应被理解为对界面质量的独立排名,而应将它们视为多标准决策过程中的互补证据。从这个角度来看,当多个指标指向相同的解释时,界面元素应该被优先考虑进行重新设计。例如,与增加的EEG工作量或压力、更长的首次注视时间、更多鼠标点击次数以及较低的主观可用性相关的组件可以被视为高优先级的可用性瓶颈。相反,单一项指标的孤立变化应更谨慎地解读,并作为进一步检查的探索性证据。在实际应用中,心理工作量可以用来识别认知要求较高的步骤,压力和SCL可以突出潜在令人沮丧或激动的交互,注意力可以表明任务参与度或注意力的不稳定性,而眼动追踪和交互指标可以定位视觉搜索和操作效率问题。这种基于规则的解释使得多模态输出能够转化为可操作的设计优先级,而无需最终用户直接解读神经生理信号。与引言中描述的最新技术水平相比,本工作有几个创新之处。首先,大多数以往在数字教育领域的神经生理学研究都集中在学习者消费内容(如观看视频或解决问题)上,而SOULSS是一个用于创作和内容优化的平台。通过针对创作流程,我们的结果将神经生理学可用性评估扩展到了对教师和教学设计师至关重要的教育技术类别,但这一领域较少受到客观测量方法的探索。其次,我们的方法结合了可穿戴EEG、自主神经测量和眼动追踪,并采用双层分析设计,区分了宏观阶段的整体差异和微观活动的特定效应,从而能够将生理信号转化为具体的界面级建议,而不仅仅是关于任务难度的通用陈述。第三,该框架的多模态特性减少了对单一信号的依赖,支持更稳健的解读,其中EEG神经测量结果(心理工作量、压力、注意力)与自主神经觉醒和可观察的视觉搜索行为一起被解释。另一个相关贡献涉及客观指标和主观指标之间的关系。初始化阶段UES SF的下降与心理工作量、压力、觉醒状态和视觉搜索努力的客观高峰相一致,这通过重复测量相关性得到了统计验证。一方面,这样的分析验证了基于神经生理学的测量结果(即心理工作量和压力)与可用性感知之间的反向关系;另一方面,压力与首次注视时间(TFF)之间的关联表明,需要长时间视觉搜索或发现性降低的阶段不仅在行为上效率低下,还伴随着增加的神经生理压力。更重要的是,主观评分在时间上通常是稀疏的,只能在每个宏观阶段完成后收集,这限制了它们在识别特定问题界面组件方面的诊断能力。细致的生理和眼动追踪测量提供了额外的监测层,即使主观问卷不能明确指出不适或低效的来源,也可以为有针对性的重新设计提供信息。
4.1. 限制
本研究存在一些局限性需要考虑。首先,样本量相对较小,参与者主要来自大学社区,这可能会限制其普遍性,难以推广到具有不同数字素养水平的教师、教学设计师或学习者群体。其次,任务设计旨在模拟真实的创作交互,但仍仅覆盖了平台功能的一部分。第三,三个宏观阶段按照创作流程的自然顺序进行,这种选择提高了生态效度,因为用户必须先浏览教程,然后初始化课程,再创建模块。然而,这也引入了界面特定效果与会话级时间因素(如学习、习惯化、累积努力或疲劳)之间的潜在混淆。基线标准化减少了个体间的生理水平差异,但无法消除实验过程中发生的任务相关时间效应。因此,宏观阶段的差异应被解释为在真实顺序工作流中观察到的与可用性相关的模式,而不是孤立界面部分的完全平衡的因果效应。未来的研究应在平台逻辑允许的情况下采用平衡或部分平衡的设计,或者明确将任务时长作为协变量进行建模。此外,生理测量可能受到与可用性无关因素的影响,例如新奇性效应、个体在压力反应上的差异或跨阶段的学**习效应,尽管使用了基线标准化程序。此外,尽管进行了基线标准化处理,但并未分析瞳孔直径,尽管它可能在认知负荷和自主神经觉醒之间提供有用的联系。未来的研究应包括控制光照条件或专门的校正程序,以将瞳孔测量整合到所提出的框架中。最后,虽然本研究展示了其对与可用性相关的认知和情感需求的敏感性,但它并未直接评估下游结果,如创作质量、长期采用情况或所生成材料的学**习效果,这些仍然是未来研究的重要目标。
4.2. 意义和未来方向
尽管存在这些限制,结果仍然支持使用神经生理学方法来评估和优化基于网络的教育平台的相关性。从方法论的角度来看,将神经生理描述符与眼动追踪相结合,可以实现界面版本的客观基准测试,在迭代设计周期中进行持续监控,并早期发现问卷可能无法捕捉到的可用性问题。从技术的角度来看,这些成果与基于语义网络的教育系统的长期愿景一致。语义表示和本体已经支持资源、用户配置文件和教学策略的结构化描述。添加时间分辨的神经生理描述符可以丰富用户模型,包括潜在的认知和情感状态变量,使系统能够同时考虑任务背景和用户状态。尽管这不是本次实验的直接目标,但所提出的框架也可能为语义增强和自适应教育系统的未来发展提供信息。值得注意的是,本研究并未展示神经生理描述符与SOULSS的语义网络架构之间的操作集成。相反,它提供了一个面向语义网络的创作平台的使用性评估,并确定了可以在未来的语义或基于本体的用户模型中考虑的用户状态描述符。在未来的场景中,平台组件可以实现自适应策略,例如逐步显示功能、上下文提示或在指标表明高工作量或长时间视觉搜索时动态重新排序菜单项。这样的适应性调整可以作为基于规则的策略在语义框架内实现,或由基于本体的任务知识所约束的学习策略。从这个意义上说,当前框架不仅是一种评估方法,也是朝着神经自适应创作环境迈出的基础步骤,在这些环境中,平台可以在关键阶段(如工作流启动、特征发现和内容结构化)支持用户。
5. 结论
本研究提出了一个多模态框架,通过结合可穿戴EEG神经测量、自主神经测量、眼动追踪和主观参与度评分来评估SOULSS语义网络导向创作平台的可用性和效率。结果达到了研究目标,表明客观测量提供了敏感且时间分辨的信息,补充了问卷调查的内容,并识别出与认知和情感需求增加相关的特定交互点。在宏观阶段中,初始化和模块创建阶段引发了比教程阶段更高的心理工作量、压力、持续觉醒和视觉搜索努力,而初始化阶段的主观UES SF得分较低。细致的分析进一步确定了主要的关键元素,即教程导航选项、新课程入口点和剧透选项。这些一致的结果为界面优化提供了明确的、数据驱动的指示,特别是在特征可发现性、视觉层次结构和基于发现的交互中的上下文指导方面。最后,重复测量相关性结果提供了定量证据,表明主观体验与客观用户状态指标之间存在系统性的关联。观察到UES SF得分与基于EEG的工作量和压力之间以及UES SF与视觉搜索效率(TFF)之间的显著关联。EEG压力与TFF之间的关联进一步支持了可发现性和视觉层次结构作为神经生理需求和感知体验的关键驱动因素的作用,强化了多模态客观指标在指导平台优化方面的价值。总体而言,所提出的方法通过结合宏观层面的评估和基于客观用户状态测量的微观活动诊断,推动了当前教育创作工具可用性评估实践的发展。除了支持SOULSS平台的迭代重新设计外,该框架还可以为语义增强和潜在自适应的数字教育环境的未来发展提供信息。然而,其主要贡献在于为复杂创作工作流的优化提供了实用的用户中心证据。