摘　要：新兴技术赋能下的智慧课堂为学生学习行为监测、评价、反馈、预警提供丰富的教育多模态数据，充分采集、处理和分析教育多模态数据能够为教育研究和实践提供参考。首先，梳理已有智慧课堂学习行为分析和多模态数据教学研究，借鉴学习行为分类系统，构建基于多模态数据类型的“声音数据—图像数据—文本数据”三维的多模态数据分析框架，从言语学习活动、位置移动、身体动作、技术使用四个方面呈现智慧课堂下学生学习行为变化;其次，将体现学生学习行为特征的多模态数据编码，并进行质性表征形成编码体系;最后，从情境和时序行为分析视角出发，对课例中的学习行为多模态数据进行频度变化及周期性变化分析。研究得出，在智慧课堂环境下，学生课堂学习参与性、主动性、专注度均在不断提升，课堂学习氛围朝着积极的方向发展，无效及无关学习行为逐渐减少。此外，通过对学生学习行为多模态数据的剖析，以期为学生了解自身学习行为及状态、教师进行个性化教学，以及研究者构建学习评价体系提供数据来源、科学依据。

　　关键词：智慧课堂；学习行为；多模态数据；框架构建；数据分析

　　中图分类号：G434

　　文献标志码：A

　　文章编号：1673-8454(2024)04-0107-11

　　作者简介：江婕，江西科技师范大学教育学部副教授、硕士生导师(江西南昌 330038);于文婷，江西科技师范大学教育学部硕士研究生(江西南昌 330038);王海燕，江西科技师范大学教育学部硕士研究生(江西南昌 330038)

　　基金项目：2023年江西省教学改革课题“智慧学习环境下基于多模态数据的学习行为评价研究”(编号：JXJG-23-10-13);2023年江西省高校人文社会科学研究项目“智慧学习环境下基于多模态数据的学习行为研究”(编号：JY23106)

　　一、引言

　　当今教育界，正在发生新一轮的“课堂革命”，物联网、大数据、云计算、人工智能等技术在教育场景中的应用，使传统教育受到颠覆式的冲击，同时也面临最直接的挑战。2008年IBM提出“智慧地球”战略，“智慧”概念在教育教学中获得广泛关注。国家高度重视智慧课堂的发展及应用：提出基于智慧课堂1.0的“云、端”信息化平台架构，发布《教育信息化十年发展规划(2011—2020年)》^[1]提出推进智慧课堂发展，2019年教育部公布“智慧教育示范区”创建项目，促进智慧课堂全面应用。

　　智慧课堂的发展离不开智能技术的支撑，经济合作与发展组织发布的《2021 OECD数字教育展望》报告中，将智能技术对课堂教学的改变作为重点关注领域。^[2]近年来，随着智能系统、眼动仪、脑电仪等智能感知设备的发展，以及自然语言处理、计算机视觉、语音识别、生理信息识别等智能技术的成熟，为智能课堂发展带来新的契机。^[3]

　　本研究以智慧课堂智能设备为数据搜集技术支撑，利用数据挖掘、机器学习获取与分析数据，从多模态学习行为分析的视角出发，基于学生学习行为构成要素，设计形成多模态数据的学习行为分析框架，并进行为期一学期的行为数据收集，以期探究学生学习行为变化规律，挖掘潜在教育价值，推进教育研究朝着数据化、动态化、科学化、精准化方向发展。

　　二、智慧课堂学生学习行为多模态分析

　　课堂是教育教学的主战场，是人才培养的重要阵地。在学习过程中，学生通过视觉、听觉、触觉等多种感官渠道，与教师、同伴、科技产品、传统学习工具等对象进行互动，产生大量多模态数据，“人—机—物”三元融合，进而在大脑皮层完成对新知识的意义建构。^[4]

　　(一)智慧课堂学习行为研究

　　教学是由教师的“教”和学生的“学”共同组成的活动，活动代表行为的发生。课堂教学行为划分为教师行为、学生行为、互动行为。其中，学生行为是在课堂教学过程中，学生对课堂活动的行为反馈。对行为的细致分析有助于教师掌握学生学习状态，以便提供更准确的帮助。^[4][5]课堂学生行为分析是系统地收集与课堂学生行为有关的一切信息，根据培养目标和要求，运用合理的评价方法，对其学习活动及相关因素进行测量和价值判断。

　　早期，弗兰德斯(Flanders)形成基于10维度的课堂互动分析系统(FIAS)，提出S-T分析方法，基于时序记录师生行为数据;由于课堂信息化及富媒体技术的不断发展，研究者将信息技术融入编码系统，开发行为分析软件，有学者整理出学生课堂学习行为投入度的6个观察指标，基于计算机视觉技术，设计学生课堂学习行为分析系统;有学者设计了基于信息技术的互动分析编码系统(ITIAS);^[6]有学者将智慧课堂教学互动数据可视化呈现，动态化生成数据分析框架。^[7]近年来，立足人工智能时代“多模态”的价值，越来越多的学者开始聚焦多模态数据支持的学习分析研究。^[8]多模态学习分析的前沿地位确立于2012年的多模态交互国际会议(ICMI)，该会议旨在提出将多模态分析技术与学习科学研究相结合，帮助研究者更好地理解学习的发生机制。

　　多模态学习分析立足于实际需要，融合学习分析理论和人工智能技术，利用智能传感设备和智能分析技术探究学习生态的全貌，深化学习分析。本研究尝试基于多模态学习分析的视角，整合多模态数据来研究智慧课堂中的学习行为特征及变化。

　　(二)多模态数据的采集

　　随着人工智能技术的发展及计算机教育学理论的提出，逐渐实现多模态数据支撑的智能教育应用机制。多模态学习分析利用智能技术采集分析学习多模态数据——表情、眼动、语言、手势、呼吸、动作、皮电等，识别多元学习空间并深度融合，从而探究学习者认知、行为、情感变化。从现有技术层面来看，多模态数据采集主要有以下几个途径。

　　一是利用平台采集分析技术形成文本数据，通过在线学习平台识别学习者在线学习流数据，形成其学习参与互动的文本，如在线浏览观看数据、课堂讨论参与、作业提交等文本内容，掌握学习者的情绪感知状态、认知水平。有学者利用学习者MOOC在线学习行为的文本数据，构建在线学习中基于交互文本的学习行为评价模型，挖掘学习者的情绪状态、个性化学习特点。^[9]有学者利用Web挖掘技术记录云端学习内容、学习路径和空间使用记录等数据，为学习者个性化推荐学习路径。^[10]

　　二是利用自然语言处理、语音识别技术，对学习者和教师的语音、语调、话语信息数据进行采集和识别。陈雅淑利用语音情感识别技术，判断学生课堂情绪状态、兴奋度。从而帮助教师判断学生个性化学习行为，针对性设计课堂模式、课堂交互活动。^[11]侯成坤设计课堂教学行为自动识别模型，通过大规模音频数据集编码对课堂交互行为进行分析。肯定语音这一模态对教学行为分析的重要性。^[12]

　　三是利用计算机视觉技术、360全景技术，来采集学习者面部神情、动作行为、身体姿态、位置移动等课堂行为数据，对学习者课堂学习专注度、认知情感变化进行智能识别。汪翔根据智慧课堂场景中头部姿态建立数据库，依据头部姿态算法性能，判断课堂中的学生注意力。^[13]利用智能算法、自动标注等方式，识别学习者坐、举手、站立、睡觉、耳语等基本行为特征。卫晓娜通过抓拍静态图像，监测一定时间内学习者眨眼次数，分析识别学习者注意力，判断其学习状态。^[14]

　　四是利用生理识别技术对学习者脑电感应、皮肤电、激素分析等数据进行采集，为学习者学习行为研究提供多样的生理数据支持。^[15]研究表明，通过脑机接口和智能眼镜，可以智能处理表情、情绪与脑神经网络之间的关系，从学习者情绪态度判断其学习状态。^[16]生理信号(皮电、脑电、心率)能关联学习行为过程中认知或情绪变化。^[17]

　　(三)多模态数据的分析框架

　　教学过程中蕴含大量多模态行为数据，为了合理、准确地构建智慧课堂学习行为多模态分析框架，本研究回归已有学习行为分类方法，解读多模态学习分析意义，综合考察学生学习行为和智慧课堂核心特征，以确定智慧课堂学生学习行为的多模态分析框架。

　　通过文献梳理可知，学习行为分类研究成果围绕师生间“学、教、管、测、评”等教学活动进行分析，有学者根据多模态数据类型，将学生学习行为划分为基于文本数据的练习、使用媒体行为，基于视频数据的听讲、提问、讨论、使用媒体行为，基于语音数据的提问、讨论行为。^[18]有学者基于课堂教学与信息技术的融合创立ITIAS交互分析编码系统，其中将学生行为划分为依据技术、沉寂、学生言语3个维度，10个编码体系。2012年有学者优化了 ITIAS 系统，结合数字化智慧课堂教学环境，建立IFIAS系统。该系统再次强调课堂中的言语行为。^[19]有研究者提出TBAS课堂行为分析系统，该系统突出信息化教学环境下学生人机交互行为，增加无意义教学活动维度(I)，对学生活动、信息技术的类别划分更加详尽，更加适用于智慧教室环境中对学习行为进行具体的研究和分析。^[20]有学者对智慧课堂核心特征与具身认知理论研究后构建四维度ATMB教学互动多模态分析框架，提及课堂中还存在大量言语及非言语互动，肢体语言作为学习过程的影响因素，成为多模态学习分析的重要研究对象。^[21]

　　通过解读多模态学习分析意义及特征可知，智慧课堂的发展使学习行为数据不再局限于观察者纸笔记录，而是在不同教学场景中全方位监测物理空间、信息空间、心理空间，实现多元学习数据(语言、动作、表情、手势)深度挖掘。^[22]对课堂教学活动中主体、教学情境、教学环境等进行数字化表征，结合智慧课堂“人—机—物”三元交互机制和行为模式，深入揭示学习者行为、生理、认知、情感变化。^[23]融合脑类、智能计算等理论知识，揭示外显行为特征与内在认知发展之间的潜在作用关系，为智慧课堂生态系统的建构提供多元的理论和技术支持。^[24]

　　本研究根据智慧课堂环境下所呈现的数据类型特征，将学生学习行为多模态数据分为多模态声音数据Sound data(以言语为主的学生课堂活动)、多模态图像数据Image data(以身体动作及位置改变为主的学习活动)、多模态文本数据Text data(以技术使用为主的学习活动)，从声音、图像、文本三个维度建构智慧课堂学生学习行为多模态分析框架。笔者根据对课堂学习活动的实际观测，将课堂学习活动下的多模态数据从第三个梯度分别划分为“无效”数据和“有效”数据，最终生成多模态数据框架，如图1所示。

图1   智慧课堂学生学习行为多模态分析框架

　　(四)多模态分析框架解读

　　1.多模态声音数据

　　智慧课堂采用语音识别技术，利用话筒、拾音设备(吊麦)采集学习者的声音数据。语言信息是学习活动和学习发生的主要载体，学习行为分析要从课堂中学生的言语交互出发。依据学生活动在声音数据表现的“有声”和“无声”特征，将多模态声音数据划分为“有声数据”和“无声数据”，并在第三梯度划分为“有效”和“无效”。笔者将有助于学习的声音称为“有效有声数据”，反之则为“无效有声数据”。“有效有声数据”包括回答问题、提问、成果分享、讨论交流、评价反馈等;“无效有声数据”包括话题偏离、闲聊等。笔者将有助于学习的无声数据称为“有效无声数据”，如思考、听讲等;反之称为“无效无声数据”，如走神、沉默等。

　　2.多模态文本数据

　　以技术使用为主的学习活动主要依赖各类网络学习平台(微信、QQ、超星学习通、中国大学慕课、百度云) 实现人机交互，云端学习平台可生成大量个性化文本数据，如智能设备资料获取、移动端签到、学习平台应答、交流讨论、作业练习、成果展示、评价反馈等。笔者以该行为是否有助于学习为依据，从第三梯度将其划分为“有效技术支持”和“无效技术支持”。这些技术支持的数据可以在学习平台生成个性化的学习文本记录，组成本研究多模态文本数据来源。

　　3.多模态图像数据

　　通过视频采集，利用体感系统、动作捕捉系统、360视频技术，对学生位置移动、个体动作、面部表情等图像数据进行数据化表征，以此研究学生学习行为的多模态图像数据。如位置移动数据，研究者从空间学角度，通过机器学习算法揭示学习者和学习群体的位置及距离对其学习状态的影响，了解学生学习活动情况。身体动作数据主要采集学生眼睛注视方向、躯干面向的动作数据。

　　三、研究设计

　　(一)研究对象

　　本研究从本科教学活动中，选取学期初、学期中、学期末各两节，共6节智慧课堂教学活动作为分析课例，将学生的课堂学习行为作为观测分析对象，遵循智慧课堂学生学习行为多模态分析框架，利用智慧课堂多模态数据分析方法，探究智慧课堂环境下学生学习行为特征及变化规律。课例选取遵循四个原则：①课堂类型一致，减少课型差异对学习行为的影响;②声音录制清晰，能准确识别学生的声音信息;③画面录制多方位，包括全景、特写、动态捕捉，能观察学生整体与局部的行为;④网络学习平台稳定，能够满足智慧课堂教学活动开展。

　　(二)数据编码

　　将学习行为分析框架细化，列举对应的学习行为特征。同时，根据列举的学习行为特征进行编码标注，声音数据包括10个学习行为特征，根据声音数据对应英文首字母S将其依次形成S1-S10编码10个;图像数据中的位置移动包括6个学习行为特征，与上述方式一致依次形成M1-M6编码6个;身体动作包括13个学习行为特征，依次形成A1-A13编码13个;文本数据包括10个学习行为特征，依次形成T1-T10编码10个。

　　(三)学习行为质性表征

　　本研究将体现学生学习行为的多模态数据进行质性表征。从学习行为的外在表现及内在动机，将学习行为划分为参与性学习行为、主动性学习行为和专注性学习行为。参与性学习行为是学生在课堂中完成学习活动的行为，是学生“做”的行为表现。主动性学习行为是体现学生自觉主动的学习行为，是学生“态度”的行为表现。专注性学习行为体现学生投入课堂的精神状态，是学生“能力”的行为表现。在学习行为的3种质性表征中，由于主动性学习具有参与性，而参与性仅体现学生课堂参与行为。因此，在本研究中，某一行为如果具有主动性质性表征，在数据统计时归为主动性，不再归为参与性重复计算。最终形成智慧课堂学生学习行为多模态分析编码体系，具体见表1。

表 1   智慧课堂学生学习行为多模态数据编码体系

　　(四)多模态数据统计

　　利用智慧课堂环境中的声音、图像、文本数据采集设备，两位观察者实时观测统计并对多模态学习行为进行时间间隔编码对照。以20秒为间隔进行独立编码，利用ELAN6.1软件对课例进行编码标注，最后对统计结果进行可视化呈现。两位观察者根据学习行为编码体系协商确定数据采集具体规则及细节，达成统一后，按照编码体系表分别进行数据统计，对统计编码数据进行梳理校对，为学习行为研究提供精准的多模态数据支持。

　　四、多模态数据分析

　　多模态学习分析利用量化学习分析思想对智慧课堂环境下的教学场景信息进行数据化表征。本研究分别从情境视角和时序视角出发，分析智慧课堂学习环境下学生学习行为频度及变化规律，寻找学生学习行为与学习态度、注意力、主观能动性、课堂学习效果之间的作用关系，推动智慧课堂教学与管理的有效发展。

　　(一)情境视角：多模态行为频度分析

　　行为频度分析是研究学习行为的方法之一，指在教学过程中，某一种行为的样本数量与所有行为样本总数的比值。行为类别的使用频率可以反映教学过程中学生不同学习行为的频率高低，以此判断学生课堂学习行为的变化规律。以下研究结论从智慧课堂情境视角呈现并分析多模态数据。

　　1.参与性学习行为

　　参与性学习行为主要体现在图像数据中的学生位置移动(M)、身体动作(A)和文本数据的技术支持(T)3个模态维度，是学生“做”的行为表现。观察者和研究者商讨决定采集3个维度17个编码数据，统计学生在智慧课堂中的有效位置移动模态数据(M1-M4)共65组，有效身体动作模态数据(A6-A10)共281组，从学生学习平台导出有效技术支持文本数据(T1-T8)，共得到130组数据。由于现有智慧课堂环境设备无法获取无效行为及无行为数据，且人为统计存在主观差异造成采集困难。故在此研究中不统计，将参与性学习行为分析的重点放在有效参与学习行为。根据3个维度的行为编码数据形成词云图来进行可视化呈现，如图2所示。

图2   参与性学习行为多模态数据分析

　　从学期初、学期中、学期末各阶段词云图中，可见参与性学习行为A7(面向教师)所占词云面积均最大，表示该行为出现频度最高。A6、A9行为频度也较高，表示学生通过交互白板观看课件、板书、学习资源等行为较多。智慧课堂中，学生会使用智能学具实现线上线下相结合的学习活动，通过学习平台生成的学情报告可知，T8(资料搜集)、T5(交流讨论)、T6(成果分享)行为出现次数较多，表示学生能积极利用学具进行资料搜集，开展云端学习群体间的合作交流。

　　从学期初、学期中、学期末，各阶段词云图面积大小、种类变化可见，参与性学习行为数量逐渐增加，课堂丰富和活跃呈显著增长;在学期初，M1-M6(位置移动)的参与性学习行为数量少，出现次数较小，随着时间推移逐渐出现在课堂学习活动中，在学期末，可以看到表示身体动作的M1(座位)、M2(讲台)、M3(组间)和M4(组内)参与性学习行为呈逐渐显著趋势;学习行为整体状态随着学期发展，A、T、M这3个维度的有效学习行为频率均在不断增加，学生学习参与度在显著提升。

　　2.主动性学习行为

　　据学生学习行为多模态编码表中学习行为质性表征，主动性学习行为多体现在以语言为主的教学活动，是学生学习 “态度”的行为体现，即多模态声音数据(S)。对学期初、学期中、学期末三个学期段课例统计，得到主动性学习行为的声音数据(S1、S3、S4、S5、S6)共124个，包含学期初36个、学期中38个、学期末50个。由于无法准确获取S8、S9行为数据，人为判断存在歧义，商讨后不统计，得到学生实际产生的主动性学习行为数据共84个，包含学期初16个、学期中26个、学期末42个。将5组数据作频度分析，得到在一堂课中学生实际产生的主动性学习行为数量与该课中应产生的主动性行为总数量的比值。比值越接近1，表示学生主动性学习行为发生频率越高。将该频度变化进行可视化呈现，图3中五组编码数据比值随着学期发展均呈现上升趋势并不断接近1。

图 3   主动性学习行为多模态数据频度分析

　　如图3所示，通过对学生主动性学习行为频度分析可知，学生在智慧课堂学期初发生频率较低的主动性学习行为，随着时间发展发生次数逐渐增多，学生学习态度得到有效改善。例如，学生使用学习平板线上举手、发布成果和评价，线下主动回答问题、交流讨论的主动性学习行为增加。

　　3.专注性学习行为

　　专注性学习行为主要体现在图像数据中的身体动作行为(A1-A5)。根据专注性的定义和维度可知，学习专注性指学习者专注于学习过程及学习活动的一种心理状态，强调时间段上的持久和注意力的稳定，是学习者学习“能力”的行为表现。观察者以秒为单位统计课堂中学生每项学习活动的专注性行为时长与学习活动总时长的比值，以此判断学生行为专注性程度。比值越接近1，表示学生专注性高，学习能力提升。

　　如图4所示，随着学期发展，学生关注学习内容方面，教师提醒的次数减少，学生能及时专注于交互白板(A1)、学生认真倾听教师讲授(A2)、同学发言(A3)、观看书本内容(A5)的专注性在逐渐提高，专注性比值逐渐趋近1。研究发现，在学期初，学生注视学具(A4)行为的比值超过1，说明学生过度使用学具，学习注意力转移到学具本身。随着学期发展，该行为频度不断缩小并趋向1，说明无关学习的学具使用行为在逐渐减少，学生对课堂的专注性逐渐提高。

图 4   专注性学习行为多模态数据分析

　　(二)时序视角：多模态行为变化分析

　　在教学研究中，时序分析通常是指在教学过程中以横轴为时间轴、纵轴为行为类别，来表示课堂教学过程中随时间推移的行为变化，实现复杂教学系统的行为分析。为了从时序视角分析智慧课堂中学生学习行为动态变化，笔者选取交流讨论、成果分享和评价反馈3个教学活动片段进行分析，分别绘制学期初、学期中、学期末智慧课堂学生学习多模态行为时序图(横向表示时间序列，纵向表示行为多模态共现)，如图5、6所示，通过对比可知，从时序视角出发，学生学习行为表现出以下较为明显的变化特征。

图5   智慧课堂学生学习多模态行为时序图（1）

图6    智慧课堂学生学习多模态行为时序图（2）

　　第一，课堂交流讨论是学生参与学习、自主学习、完成知识有意义建构的过程。智慧课堂的交流讨论环节，学生行为变化为：教师将讨论发布在学习平台上，学生根据讨论题借助智能学具进行资料搜集和自主学习(T8、T4)，学生身体动作变化所关涉的元素依次为交互白板(A1、A6)、书本(A5、A10)、学具(A4、A9)、同学(A3、A8)。学生组内组间(M3、M4)移动的次数增多。随着学期发展，合作学习过程中学生无关学习的身体动作(A11)、无身体动作(A12、A13)以及无关学习的技术使用行为(T9)明显减少。

　　第二，成果分享阶段，学生借助学习平台提交学习成果(T6);教师共享屏幕，通过交互白板进行学习成果展示，并让学生介绍其成果。有声数据统计学生主被动应答(S1、S2)、介绍成果(S5)，位置移动数据统计从座位上起立或坐下(M1)、在讲台(M2)上结合作业展示进行分享。比较学期初、中、末的成果分享学习活动，课堂秩序有明显改善，学生倾听他人分享学习成果时表现的无效有声行为(S7)有所减少，有效无声行为(S8、S9)逐步增加，这表示在智慧课堂学习中，学生学会倾听，并进行主动思考。学生的主动应答行为，在座位及讲台的移动行为均有所增加，表示学生参与课堂的主动性和积极性在不断提高。

　　第三，评价反馈阶段，通过师生评价、生生评价、自我评价、学习平台学情分析等方式，从多角度给予学生更加科学的评价反馈。在智慧课堂中不仅可以通过线下言语评价的方式(S1-S6)，还可以通过线上学习平台进行评价(T7)，学生使用智能学具可进行生生之间的互评，也可通过发布评价问卷进行组间评价或自评。学习平台还能生成个性化学期分析报告。评价形式的多样，不但能提高学生学习的参与性，更能多维度给学生提供准确评价反馈。随着智能学具、学习平台使用熟练度提高，学生利用技术手段参与课堂评价的行为大幅度增多，与此同时学生主动应答、主动提问、主动参与讨论等有声行为也有明显增加。

　　第四，教师在智慧课堂中注重与学生的交互，在学生交流讨论时走入学习群体内进行观察指导，在学生分享学习成果时通过学习平台了解学生任务完成情况，在评价反馈时引导学生进行情感交互，提高学生课堂学习主动性，将课堂主体地位归还给学生。因此，学生学习专注度不断提高，能及时准确注视教师、同学、交互白板、学具、书本(A1-A5)。课堂中学生有效学习行为的不断增加、无效及无关学习动作的减少，均能说明在智慧课堂学习过程中，学生学习行为及学习效果在不断朝着积极的方向发展。

　　五、结论

　　基于多模态数据分析，构建基于多模态数据类型的S-I-T学生学习行为多模态分析框架，对学生学习行为进行质性表征，通过编码形成SMAT学生学习行为多模态分析编码体系，通过整理分析具体课例的多模态数据，对智慧课堂环境下学生学习行为进行数据化、科学化、智能化研究分析，得出以下结论。

　　第一，S-I-T智慧课堂学生学习行为多模态分析框架充分利用智慧课堂环境中的智能设备采集生成声音、图像和文本数据。根据多模态数据类型形成S-M-A-T智慧课堂学生学习行为多模态分析编码体系，能有效地从言语学习活动、位置移动、身体动作、技术使用4个维度呈现智慧课堂下学生学习行为变化，并赋予其行为质性表征，为多模态学生行为研究提供数据采集和行为评价标准。

　　第二，多模态数据学习分析方法更适合进行智慧课堂学生学习行为的研究，从单模态有效有声数据S分析和单模态有效图像数据A分析，到多模态A-T-M三模态交叉分析，再到S-M-A-T四模态时序分析。智慧课堂中存在大量且丰富的学生学习行为。随着学期发展，学生学习行为呈现出较为明显的变化。从情境和时序视角分析学生学习行为频度及变化规律，能为多模态学习行为研究提供新思路。

　　第三，通过一学期的具体课例观察，在智慧课堂中，表现学生“做”的参与性学习行为在数量和内容上都呈现上升趋势，课堂学习活动逐渐丰富;表现学生“态度”的主动性学习行为频率不断提高，主动提问、交流合作学习、成果分享、评价反馈等有效学习行为均在显著增加;表现学生“能力”的专注性学习行为比值逐步向1靠近，无效学习行为减少，专注度显著提升。

　　参考文献：

　　[1]吴晓如,刘邦奇,袁婷婷.新一代智慧课堂:概念、平台及体系架构[J].中国电化教育,2019(3):81-88.

　　[2]刘三,杨宗凯,李卿.计算教育学:内涵与进路[J].教育研究,2020,41(3):152-159.

　　[3]王一岩,王杨春晓,郑永和.多模态学习分析:“多模态”驱动的智能教育研究新趋向[J].中国电化教育,2021(3):88-96.

　　[4]胡钦太,伍文燕,冯广,等.深度学习支持下多模态学习行为可解释性分析研究[J].电化教育研究,2021,42(11):77-83.

　　[5][22]张琪,李福华,孙基男.多模态学习分析:走向计算教育时代的学习分析学[J].中国电化教育,2020(9):7-14,39.

　　[6]倪彤光,顾晓清,薛磊.在线学习模式下大学生学习绩效评价模型研究[J].福建电脑,2023,39(1):22-26.

　　[7]王冬青,韩后,邱美玲,等.基于智慧课堂动态生成性数据的交互可视化分析机制研究[J].电化教育研究,2019,40(5):90-97.

　　[8]ISWARYA C. Analysis of college students’ learning outcomes based on educational data mining[J]. Journal of Educational Research and Policies, 2021,3(7).

　　[9]沈欣忆,吴健伟,张艳霞,等.MOOCAP学习者在线学习行为和学习效果评价模型研究[J].中国远程教育,2019(7):38-46,93.

　　[10]赵铮,李振,周东岱,等.智慧学习空间中学习行为分析及推荐系统研究[J].现代教育技术,2016,26(1):100-106.

　　[11]陈雅淑.基于语音识别的多维课堂交互分析[D].武汉:华中师范大学,2021.

　　[12]侯成坤.基于多模态融合的课堂教师教学行为自动识别研究[D].武汉:华中师范大学,2020.

　　[13]汪翔.面向智慧课堂学习行为分析的头部姿态估计方法研究[D].武汉:华中师范大学,2021.

　　[14]卫晓娜.E-Learning系统中基于Adaboost算法的注意力识别[J].电脑知识与技术,2010,6(10):2453-2456.

　　[15]赵春,舒杭,顾小清.基于计算机视觉技术的学生课堂学习行为投入度测量与分析[J].现代教育技术,2021,31(6):96-103.

　　[16]KSHITIJ S, MICHAIL G. Multimodal data capabilities for learning: what can multimodal data tell us about learning?[J]. British Journal of Educational Technology, 2020,51(5).

　　[17]韩颖,董玉琦,毕景刚.学习分析中情绪的生理数据表征——皮肤电反应的应用前瞻[J].现代教育技术,2018,28(10):12-19.

　　[18]张乐乐,顾小清.多模态数据支持的课堂教学行为分析模型与实践框架[J].开放教育研究,2022,28(6):101-110.

　　[19]方海光,高辰柱,陈佳.改进型弗兰德斯互动分析系统及其应用[J].中国电化教育,2012(10):109-113.

　　[20]穆肃,左萍萍.信息化教学环境下课堂教学行为分析方法的研究[J].电化教育研究,2015,36(9):62-69.

　　[21]童慧,杨彦军.基于多模态数据的智慧课堂教学互动研究[J].电化教育研究,2022,43(3):60-68.

　　[23]周顺,王益华,冯鑫华.基于智慧课堂的教学行为数据分析研究[J].中国教育信息化,2020(11):71-75.

　　[24]钟薇,李若晨,马晓玲,等.学习分析技术发展趋向——多模态数据环境下的研究与探索[J].中国远程教育,2018(11):41-49.

Research on Student Learning Behavior in Smart Classroom Based on Multimodal Data

Jie JIANG, Wenting YU, Haiyan WANG

(Education Department, Jiangxi Normal University of Science and Technology，Nanchang 330038，Jiangxi)

　　Abstract: The smart classroom empowered by emerging technologies provides rich educational multimodal data for student learning behavior monitoring, evaluation, feedback, and early warning. Fully collecting, processing, and analyzing educational multimodal data can provide reference for research and practice related to education and teaching. Firstly, a multimodal data analysis framework based on the three-dimensional dimensions of sound data, image data, and text data is constructed by reviewing existing research on intelligent classroom learning behavior analysis and multimodal data teaching, and drawing on the classification system of learning behavior. The framework presents changes in student learning behavior in intelligent classrooms from four aspects, namely speech learning activities, position movement, body movements, and technology use; Secondly, the multimodal data reflecting the characteristics of student learning behavior will be encoded and qualitatively represented to form an encoding system; Finally, from the perspective of situational and temporal behavior analysis, the frequency and periodic changes of multimodal data on learning behavior in lesson examples is analyzed. Research has shown that in a smart classroom environment, student participation, initiative, and focus in classroom learning are constantly improving, and the classroom learning atmosphere is developing in a positive direction, with ineffective and irrelevant learning behaviors gradually decreasing. In addition, by analyzing multimodal data on student learning behavior, it is aimed to provide data sources and scientific basis for students to understand their own learning behavior and status, personalized teaching for teachers, and the construction of learning evaluation systems for researchers.

　　Keywords: Smart classroom; Learning behavior; Multimodal data; Framework construction; Data analysis

　　编辑：王天鹏　校对：王晓明