Modeling a Multimodal Learning Analysis in the Context of Smart Classrooms

智慧课堂是利用大数据、云计算、物联网和移动互联网等新一代信息技术创设新型智慧学习环境和个性化学习环境，从而实现课堂教学和学习者学习的智能化，以此提升教学质量的课堂^[3-4]。因其不断发展，使得学习过程的记录与存储、学习结果的实时评价与反馈、学情数据的挖掘与分析成为现实^[5-6]。智慧课堂的核心理念是数据改变教育^[7]。在智慧课堂中，学习者与教学者、同伴、技术以及传统学具通过多感官通道的交互作用^[8]，产生了大量的多模态数据，这些数据反映了学习者在课堂中的实时状态和行为。借助智慧课堂中诸如物联网、大数据、人工智能等新兴技术，可为这些多模态数据的采集、感知与融合提供进一步的技术支持^[9]。

多模态学习分析是一种综合多种数据来源和类型的学习分析方法，旨在全面理解学习者在学习过程中的多方面信息，如认知、情感、行为等，以促进个性化教学和学习支持^[10]。它通过整合多模态数据，从不同维度全面把握学习者的状态和行为，从而为教育领域提供更加精准和全面的决策支持^[11]。Drachsler等人^[12]和张家华等人^[13]指出，使用学习分析中的多模态数据可以获得比单一数据更全面的学习过程信息。同时，多模态学习分析也有助于发现学习过程中的潜在问题和挑战，为教学改进和教育决策提供科学依据^[8]。因此，利用多模态学习分析对智慧课堂产生的数据进行有效处理和分析，可实现对复杂智慧课堂环境中学习者学习过程的精准掌握和全面了解^[14]，揭示学习者多方面的学习特征，为智慧课堂提供有效的评估和反馈机制。

智慧课堂与多模态学习分析的相互作用，可实现教学者和学习者之间、学习者和学习者之间、学习者和内容之间的个性化适应与优化，从而提升智慧课堂教学的智能感知、智能分析和智能服务水平，提高课堂教学的质量和效率，实现个性化教学和评估。

近年来，多模态学习分析技术在智慧课堂中的应用逐渐受到关注。在理论框架层面，童慧等人提出了一个基于教学活动、技术使用、位置移动、身体姿态四个维度的智慧课堂教学互动多模态分析框架，展示了多模态分析应用于智慧课堂的有效性和全面性^[8]。吴军其等人基于多模态学习分析理论，探讨了智慧课堂技术与学习测评的深度融合，构建了智慧课堂协作学习投入度分析模型，证明了智慧课堂中基于多模态数据的测评能较全面地反映学习者的学习投入状态^[15]。在教学实践方面，Olney等人^[16]设计了一个基于语音和图像模态的课堂对话模型，以自动评估课堂话语的对话属性，判断学习者的学习情况。Kohama等人^[17]和张学波等人^[18]从中学智慧课堂系统获取了教学者和学习者脸部表情、教学板书时间和行为、学习者笔记和听课回答等数据，使用多层神经网络分析建模，强调了多模态数据测定智慧课堂教学效果的有效性和整体性。

综合来看，多模态学习分析在智慧课堂中的应用已经取得显著进展，为后续研究提供了多样性的视角和有益的实践经验。然而，这些研究多聚焦于课堂中某种行为活动和状态的收集与分析，且均侧重于学情诊断而忽视了干预和反馈环节。因此，本研究试图提出一个综合的、全面性的智慧课堂情境下的多模态学习分析模型。模型涉及智慧课堂中全过程、全方位的数据收集和全流程工作，以能更好地了解学习者在多模态环境中的学习过程和表现，促进更全面、更系统的研究和实践。

根据构建视角的不同，可将现有学习分析模型分为基于宏观角度构建的学习分析要素模型和基于微观角度构建的学习分析过程模型两大类^[19]。

Greller等人^[20]从分析目标、数据类型、分析方法、约束条件和利益相关者等角度构建了一个学习分析要素模型，用于指导学习分析设计和实施的框架构建。该模型旨在帮助学习分析的参与者考虑到各种关键因素，并归纳了各要素之间的相互联系和影响^[21]，强调学习分析的设计和实施应考虑到各种因素之间的平衡与协调。

Siemens^[22]在实践的基础上提出了一个学习分析过程循环模型。该模型包括数据收集与获取、存储、清理、整合、分析、呈现与可视化、行动等七个模块，涵盖从数据收集到数据行动的整个过程。其每个模块都可以反馈到前一个或后一个模块，实现了数据驱动的持续改进，以适应不断变化的学习情境和需求。更为重要的是，该模型以数据为中心。数据不仅包括学习者和学习环境的数据，还包括分析结果和行动反馈的数据。数据可以来自多种渠道和形式，也可以被存储、清理、整合、分析、呈现和可视化等。

总的来看，学习分析要素模型能够让教学者、学习者和教育管理者从宏观层面了解学习分析的全貌，认识学习分析过程中的重要组成部分，但它没有明确学习分析的具体步骤和目标。学习分析过程模型能够给出详细的操作指南，有利于学习分析在教育领域的应用，但它缺少一个整体的视野，容易忽视学习分析中的关键要素。因此，本研究试图构建一个要素与过程相结合的多模态学习分析模型，兼顾多模态学习分析的关键要素和分析流程，以提供全局视野下的详细操作指南。

通过探析智慧课堂的特点、多模态学习分析的特征和已有模型的构建经验可知，智慧课堂情境下多模态学习分析模型的构建应兼顾关键要素和分析流程。其中，关键要素主要涉及智慧课堂所支持的技术环境、所提供的多模态数据采集设备以及学习者学习过程中产生的多模态数据类型等。分析流程则受到学习者全过程数据的驱动，涵盖从确立分析目标到实施精准干预等六大关键环节，以实现学习者数据的合理化应用。

基于此，本研究构建了智慧课堂中的多模态学习分析模型(如图 1所示)。

构建智慧课堂情境下的多模态学习分析模型，首先应考虑利益相关者，即多模态学习分析的服务对象。根据作用不同，多模态学习分析的利益相关者可涉及学习者、教学者、管理者等。通过分析这些利益相关者的需求和反馈，能够更好地调整和优化智慧课堂中多模态学习分析的设计与实施，促进教育质量的提升和学习者的全面发展。

学习者作为课堂的主体，自然成为多模态学习分析中最直接的受益者。通过对学习者的多模态数据进行分析，可以深入了解学习者的学习行为、情感反应和认知过程，并使学习者能够从个性化的学习反馈中受益，帮助学习者了解自己的学习情况、发现学习中的问题，为学习者提供针对性的学习建议和支持。此外，多模态学习分析还可以为学习者提供更加有效的学习资源，激发学习者的学习动力，促进学习效果的提升。

教学者是智慧课堂中的主导者，他们通过多模态学习分析可以更深入地了解学习者的学习情况和需求。基于学习者的多模态数据分析，教学者能够个性化地优化教学内容、教学策略和资源安排，满足不同学习者的学习需求。同时，多模态学习分析还可以帮助教学者更好地监控学习者的学习进度和学习成绩，及时发现其学习困难，为其提供针对性的教学干预和支持。

管理者既包括政策制定者也包括学校管理人员。多模态学习分析为管理者提供了全面的教育数据，可以帮助其了解学校和教育系统的整体教学效果和学习者学习情况。通过对多模态数据的分析，管理者可以评估教学质量、优化教学资源配置，并制定更加有效的教育政策和发展规划。此外，多模态学习分析还有助于发现教育系统中的问题和挑战，为教育决策提供科学依据。

除了学习者、教学者和管理者这三类核心群体，家长、教育科研机构、教育技术提供商等也是智慧课堂的利益相关者。家长通过多模态学习分析可以了解孩子的学习状态和表现，与学校和教育者共同关注学习者的学业发展。教育科研机构可以借助多模态学习分析的结果进行深入研究，推动教育领域的学习分析理论和方法发展。教育技术提供商可以根据多模态学习分析的需求，开发更加智能化、个性化的教育技术产品和服务，促进教育科技的进一步创新发展。

智慧课堂的技术环境是进行多模态学习分析的重要前提和基础。了解技术环境，有利于最大化地发挥智慧课堂的技术优势，为多模态学习分析创设良好运行环境。智慧课堂技术环境主要具有三大特点：数据化、智能化和立体化。

智慧课堂的数据化为多模态学习分析提供了丰富而有效的数据来源。通过各种感知设备和平台，智慧课堂可以实时采集和记录教学者和学习者在课堂上产生的多模态数据，包括文本、图像、声音、视频等不同形式的数据，也包括眼动轨迹、面部表情、身体姿势等非言语交流数据。这些数据可以反映教学者和学习者的教学行为、学习行为、认知过程、情感状态等多方面的信息，为多模态学习分析提供了全面而细致的数据基础。例如：摄像头采集的面部表情和身体姿态等数据，多用于识别学习者学业情绪、学习专注水平；生理数据是了解学习者课堂认知状态的重要窗口；分析音频与文本数据能有效掌握学习者课堂交流内容、判断课堂氛围等。同时，智慧课堂通过云计算和物联网技术，可以实现数据的高效存储、传输和共享，为多模态学习分析提供了便捷而安全的数据支撑。

智慧课堂的智能化为多模态学习分析提供了强大的数据处理和应用支持。智慧课堂通过人工智能和大数据技术，可以对多模态数据进行预处理、特征提取、模式识别、分类聚类等操作，以发现数据中的隐含知识和规律。例如，通过分类聚类，能够根据学习者的学习行为、风格、知识水平和兴趣爱好等多种数据特征，将学习者分为学习型、参与型和兴趣导向型等不同的群组或类别。这些操作可以帮助多模态学习分析从海量而复杂的数据中提取有价值的信息，为教育决策和服务提供依据。同时，智慧课堂通过智能化服务平台，可以根据多模态学习分析的结果，为教学者和学习者提供个性化、精准化和及时性的教育服务。

智慧课堂的立体化为多模态学习分析提供了直观且高效的数据呈现和反馈方式。智慧课堂通过可视化技术，可以把原本不可见的“思维”、难以展现的复杂过程形象化地呈现出来。例如：智慧课堂可以通过眼动仪捕捉学习者的视线轨迹，通过热力图或轨迹图呈现学习者的注意力分布和阅读策略，也可以通过神经信号检测仪监测学习者的脑电波活动，使用图表或图形呈现学习者的情绪状态和认知负荷。这些方式可以帮助多模态学习分析将数据的分析结果以直观而生动的方式展示给教学者和学习者，从而增强数据的可理解性和可信度，激发教学者和学习者的兴趣与动机，促进教学者和学习者的深层次理解与应用。同时，智慧课堂通过移动终端和智能设备，可以实现师生之间，生生之间，教学管理者、教学者与家长之间全时空无障碍的立体化沟通和交流。这些方式可以帮助多模态学习分析将数据的分析结果以及时而有效的方式反馈给教学者和学习者，促进教学者和学习者的自我调节与互相协作，提高教学效果和学习效率。

智慧课堂情境下的多模态学习分析流程是一个基于数据驱动的教育创新模式，主要包括确立目标、数据收集、数据处理、数据分析、提供反馈、实施干预六个关键步骤。在这一流程中，责任分工明确：教学者负责确立教育目标；教学者和技术支持团队共同负责数据收集；数据处理由数据分析师和技术支持人员完成；数据分析由数据分析师和教育研究人员共同承担，主要应用统计工具和机器学习技术进行数据挖掘；在反馈环节，技术支持人员将数据分析结果转化为易于被学习者和教学者理解的形式；最后，教学者和教育管理者共同实施针对性干预措施，如调整教学方法和课程，以更好地满足学习者的学习需求。这种明确的分工和协作确保了流程的顺畅执行，为教育创新和学习者学习提供了更为全面和有效的支持。

确立目标环节处于课堂教学开始之前，是多模态学习分析的起点。这一环节的关键在于明确分析的目标和方向，为整个分析流程奠定基础，确保最终的分析结果对教学实践具有实质性的帮助和指导作用。

在该环节，首要任务是让教学者在明确的情境下清晰界定教学目标，如及时了解学习者当堂课程的知识掌握水平、提升学习者课堂投入度、提高学习者协作内容与主题的相关性等。教学目标应该尽可能具体和清晰，以能有效指导多模态数据的收集和分析，确保分析过程的有效性。同时，需要定义相关的关键指标，以量化学习者的目标达成情况，如课堂讨论过程中学习者发言与主题的相关度、课堂教学过程中学习者的基本行为(听讲、做笔记、左顾右盼)等。其次，教学者需要确定适当的评估方法，包括考虑使用哪些工具、技术或方法来测量学习者在多模态学习环境中的诸如课堂投入、学业情绪、讨论参与等表现。评估方法的选择应与学习目标和关键指标一致，以确保评估结果的可信度和有效性。这些评估方法可能涉及多模态数据的收集，如视频分析、文本挖掘、音频处理等，以全面了解学习者的学习过程。最后，制定分析计划，包括明确分析的时间框架、责任人员、数据收集方式以及数据分析的方法和工具。这有助于确保整个分析过程有序进行，同时为教育者提供有效的时间表和资源规划。在确立目标的过程中，需要考虑学习者的个性化需求，以适应不同学习风格和速度。这一系统性的方法为多模态学习分析提供了科学的基础，使教育者能够更有针对性地引导和优化学习过程。

采集真实课堂中的多模态数据是实现智慧课堂情境下学习者学情状态诊断与精准干预的前提和基础。数据收集旨在获取各种学习情境中生成的数据，它为了解学习过程中的多模态数据提供了必要的基础。通过综合采集学习者在学习过程中的多元数据，能够捕捉学习者在不同感知层面的反馈和互动，从而深度洞察其学习行为和认知过程。这种综合性数据收集使得智慧课堂能够以更高层次的智能化方式响应学习者的个性化学习需求，而不是仅仅局限于传统的教学评估。在该环节，数据采集应该遵循以下几个原则：(1)以学习者为中心，关注学习者的认知、情感、行为等多方面的数据，以实现对学习者的全面了解和个性化支持^[13]；(2)以教学目标为导向，根据教学内容、教学方法、教学评价等不同的教学环节，选择合适的数据类型、数据来源、数据量等，精简不必要的数据，避免无关或无用的数据的干扰，以实现对教学过程的有效监测和优化；(3)以数据质量为保障^[23]，采用伴随式、自动化、无感知、持续性的数据采集方式，以提高数据的真实性、准确性、完整性和时效性；(4)以实时收集为手段，通过课堂中智能设备的实时监测和传输，实现对学习者的实时反馈和跟踪，及时发现和解决学习中的问题，从而提高数据的实时性和敏捷性；(5)以数据安全为前提，遵守相关的伦理和法律规范，保护学习者的隐私和数据权益，避免数据的泄露、滥用和误用^[2]。

该环节涉及智慧课堂情境下多模态学习分析的两个关键要素：多模态数据类型和相应的采集设备。其中数据类型可大致分为基础数据、外显数据、生理数据、心理数据四类^[24]。这四种类型的数据可以相互补充、验证、整合和转化^[25]。综合这四类多模态数据，可以确保多模态学习分析数据的多源互补^[26-27]，从而更加全面地了解学习者在智慧学习环境中的行为、注意、认知、元认知、情感、协作、交互等指标^[28-29]。在智慧课堂中，这四类数据的收集需要依赖一定的技术设备，这些关键设备的协同作用，使得学习者产生的四类数据能够得到全方位、多角度、实时性的采集。具体的多模态数据类型和相应的采集设备如表 1所示。

从真实课堂场景中直接收集到的海量原始数据通常是复杂且包含噪声的“脏”数据，因此需要在智慧课堂配备的服务器和云平台等设备上进行大规模数据处理和预处理，将数据转化为可供分析的格式。这包括数据预处理、特征提取等操作。数据预处理旨在清理和规范原始数据，使其适合后续分析。数据预处理包括数据清洗、缺失值处理、异常值检测和数据转换等。数据清洗主要涉及去除错误、重复或不一致的数据，确保数据质量；对于缺失值，可以采用插值或删除等方法进行处理；异常值检测有助于识别可能影响分析结果的异常数据；数据转换可以将原始数据转换为适合分析的格式。例如：使用数据清洗功能，对学习者的语音、表情、手势、肢体动作等数据进行去噪、去重、去空、去异常等操作，以提高数据的准确性和完整性；使用数据规范化功能，对学习者的皮肤电、脑电、心率、肌电图等数据进行归一化、标准化、正则化等操作，以提高数据的可比性和可用性。随后，进行特征提取，将多模态数据转换为可供分析和建模的特征表示。特征提取可以根据数据类型采用不同的方法：对于文本数据，可以使用自然语言处理技术提取词频、文本长度、词性等特征；对于图像和视频数据，可以使用计算机视觉技术提取颜色、纹理、形状等特征；音频数据的特征提取可以包括梅尔频谱系数、音调等。在特征提取后，需要进行数据融合，将来自不同模态的特征融合为一个整体的特征向量。根据信息抽象的层次，可以将多模态数据融合策略由低到高分成三个层次：数据层融合、特征层融合和决策层融合^[30]。数据融合可以采用简单的拼接、加权平均等方式，也可以通过深度学习模型进行特征融合。在考虑数据融合时，需要紧密结合教学目标，以确保所获得的信息与课堂教学的需求相契合。

数据分析是多模态学习分析流程的核心环节，涉及各种统计和机器学习方法的应用。经过前一环节，在智慧课堂中收集到的数据已经得到充分处理。数据分析环节的主要工作是建立模型和对模型进行评估与解释，这两项工作可有效揭示学习过程的多维特征。建立模型阶段旨在构建适应智慧课堂多模态数据的计算模型，以揭示学习者的行为、情感、认知等特征之间的复杂关联。该过程需要根据第一阶段确立的分析目标和数据特性选择合适的建模方法，如线性回归、决策树、神经网络等，并对模型进行训练和参数优化，以最大化模型的性能和拟合度。模型评估与解释阶段旨在对所构建模型进行评估，验证其性能和效能，并解释模型在多模态学习分析中的作用与贡献。通过使用多种评估指标如准确率、召回率、均方根误差等，以及采用验证集、交叉验证等方法，评估模型在新数据上的表现，避免过拟合和欠拟合。同时，通过解释模型的特征重要性、模型参数、结构等，深入理解模型的工作机制，为决策提供科学依据。

基于数据分析的结果，智慧课堂可通过学习仪表盘、知识图谱等为教学者、学习者及管理者等利益相关者提供个性化反馈。该环节的反馈方式可分为课堂实时反馈和课后反馈两种。其中课堂实时反馈是指在课堂进行时，根据多模态数据的实时分析，向教学者和学习者提供及时的信息，帮助他们调整教学和学习策略。例如，通过分析学习者的面部表情、眼动、姿态等数据，可以判断学习者的情绪、注意力、参与度等状态，并及时向教学者和学习者反馈，以便其采取相应的措施，如改变教学方法、提高互动、调节情绪等。课后反馈则是在课堂结束后，根据对整堂课多模态数据的综合分析，向教学者和学习者提供更深入的信息，帮助他们总结、反思教学和学习过程，发现和解决问题，提出和实施改进方案。例如，通过分析学习者整堂课的投入度、互动、测试等数据，可以评估学习者的知识掌握、能力发展、学习进步等情况，并向教学者和学习者反馈，以便他们制定和调整教学与学习目标、计划、方法等。

在该环节，为了确保利益相关者能够迅速理解和接受信息，反馈的呈现形式应当简洁直观。使用图画、图表结合文字阐述的方式，能够直观地表达相关信息，避免增加认知负荷^[31]。在线平台和应用程序可以充分利用这些可视化手段，以提高信息传达的效果。反馈需要遵循个性化和差异化的原则，基于多模态学习分析的结果，设计出适应不同学习者特定学习需求和学习情境的个性化反馈方案。同时，这些反馈方案需要具备可操作性和可衡量性，为学习者提供具体的改进建议和优化学习策略的指导。借助智能辅助工具，可以实现反馈的自动化和个性化定制，提高反馈的效率和准确度。此外，应当追求反馈的全面性和综合性，即除了针对学习成绩和学习策略进行反馈外，还应考虑学习者的心理、情感、社交等多方面信息。全面的反馈可以帮助学习者全面认识自己的学习状态和需求，激发其对学习进步的动力。这种反馈也有助于教学者在教学设计中更好地考虑学习者的整体发展和个性化需求，从而实现对教学设计的有效指导与促进。

在获取相关反馈后，利益相关者可以有针对性地采取一系列干预行动。通过采取个性化的学习干预措施，可以帮助学习者克服学习困难，发挥潜力，提高学习成绩，也能帮助教学者、教学管理者获得更大的教学增益。在该环节，教学者首先需要根据多模态学习分析的结果确定需要干预的学习者或学习群体，以及需要干预的学习方面或学习问题^[32]。同时根据干预对象和干预内容设计合适的干预方案和干预策略，以达到预期的干预效果。干预方案和干预策略应该考虑学习者的个性化特征、学习风格、学习水平等因素，以及智慧课堂的教学资源、教学模式、教学工具等条件。例如，如果干预对象是注意力不集中的学习者，干预内容是注意力，干预方案即可以是通过智能白板或智能终端向学习者发送提醒或激励信息，干预策略则是根据学习者的兴趣或喜好选择不同的信息内容或形式。其次，教学者需要根据设计好的干预方案和干预策略执行干预活动，同时利用智慧课堂的设备和平台，实时监测干预效果，收集和分析干预后的多模态学习数据，以评估干预的有效性和合理性。进一步而言，如果干预活动是通过智能白板或智能终端向学习者发送提醒或激励信息，则可利用智能白板或智能终端的反馈功能，获取学习者的回应或反馈，或者利用智能摄像头或眼动仪，观察学习者的面部表情或眼神变化，以判断学习者的注意力是否提高或保持。最后，教学者需要根据监测到的干预效果，及时调整干预方案和干预策略，以优化干预效果，适应学习者的学习变化，实现教学的动态调整。如果监测到的干预效果不理想，或者学习者的注意力出现波动或下降，那么可以调整提醒或激励信息的频率、时长、内容、形式等，或者采用其他干预方式，如提问、互动、游戏等，以重新吸引或保持学习者的注意力。

目前，智慧教学建设正在逐步实施中，多模态学习分析技术作为智慧课堂中的重要工具必将对学校教育产生巨大的影响。针对当今教育环境中应试教育依然盛行、学习日益内卷化，致使学习者个性化培养和评估被忽视的现象，本研究构建了一个立足智慧课堂情境，以确立目标、数据收集、数据处理、数据分析、提供反馈、实施干预六步多模态学习分析循环流程为中心，包含利益相关者、智慧课堂技术环境、多模态数据类型及采集设备等要素的多模态学习分析模型，深入探讨了每一步骤的具体要素，并提出了操作建议。该模型的建立不仅为教学者提供了更为丰富的数据视角，使其能够更加精准地了解学习者的学习习惯、潜在能力以及特殊需求，同时也让学习者能够更加全面地展现自己的多样化学习风格和技能，而不仅仅是依靠传统的考试方式。这样的转变促进了教育的个性化发展，让每个学习者都能在教育中找到属于自己的学习路径。本研究为智慧课堂中学习分析系统的开发提供了理论支持，最终目的是将该模型应用于真实的智慧课堂中，为教育实践提供有效的支持和改进方案。因此，未来的研究需要关注如何在真实场景中部署和应用这些模型，并考虑教育政策、隐私保护等现实因素。