摘　要：数智技术方兴未艾，智能教育软件层出不穷，面向教学“测评”的智能教育软件鱼龙混杂。构建面向教学“测评”的智能教育软件评估指标体系是掌握其质量线的关键。基于文献研究、市场调研、专家协商研讨等方法，探讨面向教学“测评”的智能教育软件评价指标体系的构建。该指标体系由二级评估维度和三级评估指标组成。评估维度中包含三个一级维度：考试测试、教师评估、学生评估。其中，考试测试维度包含五个二级维度：智能组卷、智能阅卷、智能考试分析、智能考试管理、在线考试管理;教师和学生评估维度均包含五个二级维度：数据收集、数据处理、评价方案、评价反馈、评估场景。三级评估指标包含三个一级指标：功能实现值、业务契合值、魅力属性值;五个二级指标：功能实现值、功能完整值、场景需求匹配值、功能先进值、业务创新值;若干三级指标。基于所提出的评估指标体系，可同时为深入了解现有面向教学“测评”的智能教育软件的发展水平与特征、挖掘不同类型用户使用智能教育测评软件潜在功能需求、开发新的智能教育测评软件等工作提供科学依据和理论指导。

　　关键词：教学测评；智能教育；教育软件；评估指标；指标体系

　　中图分类号：G434

　　文献标志码：A

　　文章编号：1673-8454(2024)07-0064-09

　　作者简介：赵国宏，延边大学师范学院教授，博士(吉林延吉 133002);盖延龙、李知娜，延边大学师范学院硕士研究生(吉林延吉 133002);马芸，延边大学师范学院讲师，博士(吉林延吉 133002)

　　基金项目：2023年中国教育学会教育科研重点委托课题“人工智能教育发展指数研究”(编号：202300001101WTA);吉林省教育科学“十四五”规划2021年度重点课题“批判性思维导向的网络学习空间应用研究”(编号：ZD21017)

　　一、问题提出

　　2020年，中共中央、国务院印发《深化新时代教育评价改革总体方案》，指出要创新评价工具，利用人工智能、大数据等现代信息技术，探索开展学生各年级学习情况全过程纵向评价、德智体美劳全要素横向评价。学术界与工商界为适应新时代对教育评价工作的具体要求不断探索创新，都获得了一定的成效。学术界相继开展探讨数智赋能下智慧教育未来范式的研究工作;^[1]深度挖掘新时代教育评价的意蕴内涵并探索其实现路径等研究。^[2]工商界的同仁则致力于依托智能信息化系统载体，将智能技术引入教育评价全过程。^[3]无论是来自学术界的专家和学者抑或是来自工商界的同仁，更倾向关注如何引领未来智能技术赋能教育测评的相关议题，但对当前实践如何影响未来实践的议题尚存巨大研讨空间。值得我们关注的是，当前已经开发了足够充分的智能评价系统，甚至已经形成诸多将这些系统应用于教学的优秀实践案例。评估现存智能评估系统的质量，能够为潜在用户在教学测评过程中合理有效地利用和使用这些工具，提供正确的方向指引。因此，评估当前面向教学“测评”的智能教育软件质量将成为引导其健康有序发展的一项重要工作。基于此，本文将致力于构建面向教学“测评”的智能教育软件评估指标体系，最终以量化指标衡量智能教育软件质量线。

　　二、面向教学“测评”的智能教育软件评估现状

　　(一)政策背景

　　我国先后出台《中国教育现代化2035》《新时代基础教育强师计划》等一系列政策文件，实施人工智能助推教师队伍建设行动，旨在培养适应智能技术的新型教师。鉴于此，我国学者开展了系列相关研究工作：如何推进智能教育技术深度应用和教师专业发展，^[4]深入分析国内中小学教师智能教育素养相关评价研究，^[5]挖掘教师智能教育素养核心要素，^[6]结合教师教育、人工智能、教育技术、教育测评等相关领域的专家意见和一线教师实践经验，构建科学系统的中小学教师智能教育素养评价指标体系，^[7]基于评价指标体系开展中小学教师智能教育素养评价实践。国外学者也开展了有关教育科技产品质量评估的相关研究工作，如美国教育技术指南(ISTE)推出了ISEL(ISTE标准评估指数)，用于评估教育科技产品的质量和对学习的有效性，^[8]通过收集和分析学生在软件上的行为数据评估软件的教学效果和学习进展，^[9]根据学生的个性化需求提供智能化的学习建议等研究工作。^[10]

　　(二)理论研究现状

　　当前在教育领域，智能教育软件已成为一种重要的教学辅助工具，其评估也成为教育技术研究的热点。有学者指出，教育类软件的评估应以教学设计理论、产品理论等为依据。教育理论作为教育软件区别于其他软件的特征，评价其是否符合教育规律、达成教育目标;分析其作为智能应用程序的技术特征。教育软件的发展历程受不同的教学理论影响，主要经历了行为主义学习理论、认知主义学习理论和建构主义学习理论三个阶段，而教育软件设计也相应地从程序教学发展至多媒体教学并有向智能化、网络化发展的趋势。现阶段，建构主义学习理论是教育技术学界及相关产业界人士较为广泛接受的学习理论，在指导学习过程发生乃至教育软件开发方面都有不可忽视的重要作用。关于面向教学的智能教育软件评估，包括教学目标达成度、学生满意度、教师满意度、教学效果等方面，以及个性化教学、智能化推荐、数据驱动、互动性、易用性等。学者提出了多种评估方法和指标体系，如基于教学过程的评估、基于学习成果的评估、基于教师与学生满意度的评估等。评估指标体系主要包括教学内容、教学方法、教学管理、教学效果等方面的指标。^[11][12]随着人工智能、大数据等技术的发展，智能教育软件的评估也将迎来新的机遇。^[13]未来，智能教育软件评估将更加注重数据驱动、个性化评价，以及与教育教学实践的紧密结合。^[14]

　　(三)实践探索现状

　　近年来，许多研究者通过实证研究方法，探讨了智能教育软件在教学中的应用效果及其评估。这些研究为我们理解智能教育软件的优缺点，以及如何进行有效评估提供了宝贵的实践经验。教育软件评估指标的设置需要结合不同的教育场景和教育阶段。按照评估指标的适用性，当前教育软件评估指标可分为针对性的教育软件评估指标、非针对性的教育软件评估指标两大类。针对性的教育软件评估指标即针对某一学段或专业的学生/教师用户的教育软件构建的评估指标，非针对性的教育软件评估指标即针对所有教育类的软件通用型评估指标。由于覆盖的教育软件不同，在指标的设置上存在明显差异。依托无感式、伴随式数据采集，人工智能进行多元化、过程化大数据分析，能够帮助教师实现各学段全过程纵向评价、德智体美劳全要素横向评价，实现评价的智能化。

　　综上所述，面向教学的智能教育软件评估在理论概念、内涵、核心特征、评估方法与指标体系、实证研究等方面取得了一定的研究成果。然而，智能教育软件评估仍面临许多挑战，如如何有效融合人工智能技术、如何提高评估的准确性等。因此，我们需要构建面向教学“测评”的智能教育软件评估指标体系，系统而清晰地描绘软件应用场景、梳理软件核心功能、廓清软件关键属性，从而为智能软件赋能教学测评提供更好的支持。

　　三、面向教学“测评”的智能教育软件评估指标体系构建逻辑思路

　　(一)构建缘起：遵从教学“测评”工作变革的政策引导

　　教学测评内容与测评方式的转变是新时代面向教学“测评”工作变革的重要领域，也是新时代教育评价改革政策治理关注的焦点议题。中共中央、国务院印发的《深化新时代教育评价改革总体方案》中明确指出，在评价方式上要通过信息化等手段，探索学生、家长、教师、社区等参与评价的有效方式，客观记录学生品行日常表现和突出表现，特别是践行社会主义核心价值观情况，将其作为学生综合素质评价的重要内容。数智技术的迅猛发展催化测评方式的转变。新时代中高考改革和综合素质评价都需要创新大规模教育测评方法与技术，优化评价体系和数据采集标准，应用大数据感知、互联、存储、计算、分析技术，构建跨区域、跨场景的智能化测评系统平台和工具，形成基于证据和大数据(全样本)的教育评估体系。智能技术为结果评价、过程评价、增值评价、综合评价等方式提供数据支持，提高教育评价的科学性、专业性和客观性。面向教学“测评”的智能教育软件作为智能技术赋能教学测评的重要载体，构建其质量评估体系成为顺应教学测评变革政策引导的重要工作。

　　(二)构建基石：描绘面向“测评”的智能教育软件质量

　　有研究指出，对教育软件的评估，应该以软件的质量为基础，并进一步探讨教育软件对用户的价值。^[15]但软件的质量抽象，难以直接测量。为了对软件质量进行刻画，评估者往往会从软件质量的体验即用户满意度入手，从侧面对软件质量进行反馈和评估。根据用户体验模型，针对产品体验的设计应该在分析软件目标用户的需求和产品目标后，进行对产品功能规格的创建。^[16]功能对软件产品的重要性不言而喻，功能越强大的软件往往具有更高的用户满意度。为了较为系统地对软件功能进行评估，尝试构建“功能属性值”这个一级指标。在该一级指标下，为了评测软件所提供功能的丰富性，又设计了“功能完整值”这个二级指标，意在评价某一软件所提供的功能是否较为完整地覆盖市场上同类产品的核心功能;在功能有无的基础上，为了对功能使用的真实体验进行评估，在评估机制中进一步筛选剔除功能泛滥却粗制滥造的软件，增设“功能实现值”这个二级指标，从用户对软件功能质量和软件设计质量设计的体验感受出发，实现对软件功能实现程度的评估。本研究选取《编程的原则》提出的非功能需求指标中的“可靠性、可维护性、可移植性、效率性”及指标解释，并加入功能性、易用性这两项指标，形成智能工具指数评估体系功能实现值的指标项。^[17]

　　(三)构建路径：构建面向“测评”的智能教育软件评估指标体系的过程与方法

　　本研究构建面向教学“测评”的智能教育软件评估指标体系的过程主要历经三个阶段，分别是文献研究、市场调研、专家协商研讨。在文献研究阶段，对智能教育软件和智能工具指数核心概念进行系统梳理及界定，并检索已经构建的智能教育软件评估指标体系和相关研究进行分析;在市场调研阶段，对国内面向教学“测评”的智能教育软件的主要应用场景和主要功用等维度展开调研。在此基础上，形成面向教学“测评”的智能教育软件评估指标体系维度及指标架构的初步划分;在专家协商研讨阶段，通过咨询专家、与专家展开深层次的交流研讨，完善面向教学“测评”的智能教育软件评估指标体系。

　　四、面向教学“测评”的智能教育软件评估指标体系架构

　　综合文献研究、市场调研、专家协商研讨等方法，构建面向教学“测评”的智能教育软件评估指标体系。该指标体系由二级评估维度和三级评估指标架构两部分构成。该指标体系用于考试测评、教师评估、学生评估三个应用场景。

　　(一)面向教学“测评”的智能教育软件评估维度架构

　　面向教学“测评”的智能教育软件评估体系中的第一部分是评估维度架构。评估维度旨在描绘智能教育软件的应用场景及主要功能。该架构包含“考试测评”“教师评估”“学生评估”三个一级维度，分别对应面向教学“测评”智能教育软件的应用场景。

　　1.考试测评维度

　　考试测评是面向教学“测评”的智能教育软件的重要应用场景，也是检验学生学习能力和知识储备的重要形式之一。传统的考试即通过书面、口头提问或实际操作等方式，考查参试者所掌握的知识和技能，参试者需在规定时间内按指定的方式解答精心选定的题目，或按要求完成一定的实际操作任务，并由主办方评定结果，从而为主办方提供考生某方面的知识或技能状况的信息。

　　在中小学阶段的考试测评的形式以笔试为主，教师根据学生的学段、教学大纲出题，组织学生在规定的时间内作答。试卷命题需合理掌握试卷的深度，尽可能覆盖全体学生;贯彻理论联系实际的原则，既要考核学生对基本理论、基本知识和基本技能的掌握程度，也要检查学生运用基本理论分析问题和解决问题的能力;不宜出偏题、怪题。为实现高效命题和提高命题的准确度，教师通常会参考考查知识点的相关题目，并结合所教学生的实际学情命题。因此，教师对考试测评类智能教育软件的主要需求在于，软件需提供优质且丰富的题库以供筛选;能够帮助教师减少批阅的工作量;能够形成精准的答卷分析报告，以便教师发现学生的学习问题，以及在线下考试无法正常组织的情况下，能够支持教师组织线上考试。

　　2.教师评估维度

　　教师评估是面向教学“测评”的智能教育软件的重要组成维度。教师肩负着重大的历史使命和社会职责，承担着培育新一代德才兼备的栋梁之才的重要使命。高素质的教师队伍是培养优秀学生的关键，而教师评估则是打造高素质教师队伍的重要抓手。2021年9月，教育部教师工作司司长任友群在中国教育科学论坛分论坛中提出“教育评价事关教育发展方向，教师评价事关教师队伍建设，师德师风是教师评价的第一标准”。《深化新时代教育评价改革总体方案》中关于教师评价提出了五项任务：一是坚持把师德师风作为第一标准，二是突出教育教学实绩，三是强化一线学生工作，四是改进高校教师科研评价，五是推进人才称号回归学术性、荣誉性。

　　传统的教师评估主要依靠人工审核资料，各学校按照自己的评价指标体系进行核算。教师评估的周期较长，一般在学期末汇总整个学期的资料，教师往往需要耗费大量的精力核算一学期的工作绩效和成长表现。优秀的教师评估智能教育软件，能够优化教师评估的过程、方式，从一定程度上减轻教师的工作量。前期调研结果显示，教师评估类智能教育软件主要是通过数据的获取和分析、评价方案的设置和反馈相关功能，来满足教师绩效评价、课堂教学评价、成长记录等需求。

　　3.学生评估维度

　　学生评估也是面向教学“测评”的智能教育软件的重要组成维度之一。学生评估事关学生发展，学生发展事关国之未来。《深化新时代教育评价改革总体方案》中明确指出，要坚决克服“五唯”顽疾，“提高教育治理能力和水平，加快推进教育现代化”。以人工智能为媒介，实现学生评估工作数字化转变，是教育评价改革的发展方向。我国的教育目标是培养担当民族复兴大任的时代新人，培养德智体美劳全面发展的社会主义建设者和接班人。如何评估学生的全面发展一直是教育工作的重难点之一。学生评估既不能唯分数，又要贴合学生的成长实际;既要注重学生成长的结果，又要注重发展和变化的过程。不可否认的是，长期以来教师受限于时间和精力等原因，造成学生评估工作流于形式，评估周期以学年为单位，无法真切记录学生的成长变化。但在教育工具智能化的趋势下，教师不难对学生评估工作破立并举，推进学生评估取得实质性突破，进而提高评价的科学性、专业性和客观性。

　　根据前期对学生评估类智能教育软件进行调研的结果，本研究所涉及的学生评估类智能教育软件包括学生学业成绩评价、学生成长电子档案袋、综合素质评价体系、德育评价系统、智育评价系统、体育评价系统、美育评价系统、劳育评价系统、学生行为评价九种。教师评估类智能教育软件与学生评估智能教育软件一致，在对功能的评估上，按照数据收集、数据处理、评价方案、评价反馈等功能集合进行评估。

　　(二)面向教学“测评”的智能教育软件评估指标架构

　　面向教学“测评”的智能教育软件评估体系中的第二部分是评估指标架构。评估指标旨在描绘智能教育软件的技术属性。该架构包含“功能属性值”“业务契合值”“魅力属性值”三个一级指标，分别对应面向教学“测评”智能教育软件的三个主要属性。“功能属性值”细分为“功能实现值”和“功能完整值”;“业务契合值”主要指向“场景需求匹配值”;“魅力属性值”细分为“功能先进值”和“业务创新值”。面向考试测评场景，三级指标细化为27项核心功能指标和36项核心场景指标。

　　1.一级指标的确立

　　在人工智能教育的时代背景下对智能教育软件进行评估，应该以软件的技术质量为基础，进一步探讨智能教育软件对用户的价值。其中，在分析智能教育软件的目标用户需求与产品应用目标后，软件产品的开发应关注产品功能的设计与创建，需要充分考虑用户满意度的因素。功能对软件产品的重要性不言而喻。功能越强大、越符合应用场景的软件往往具有越高的用户满意度。因此，为了对智能教育软件的功能和对教育场景的赋能效果进行较为系统的评估，本研究构建了面向教学“评”的智能教育软件评价指标的三个一级指标——“功能实现值”“业务契合值”“魅力属性值”，基于此分别对软件的功能质量、软件设计体验、功能在不同学习场景下应用的匹配度、软件创新功能与应用几个方面展开测评。“功能实现值”是指对软件的功能质量和软件设计体验的评估。“业务契合值”用于评估软件某一特定功能在不同学习场景下的应用匹配度，即软件功能是否满足具体教育场景下应用的需求与效果。“魅力属性值”是对智能教育软件的创新功能与应用情况的评估。

　　2.二级指标的确立

　　评估指标架构中的每个一级指标下设若干二级指标，如“功能属性值”一级指标下设两个二级指标，即“功能实现值”和“功能完整值”;“业务契合值”一级指标下设一个二级指标“场景需求匹配值”;“魅力属性值”一级指标下设两个二级指标，即“功能先进值”和“业务创新值”。二级指标在不同的智能评估软件应用场景中具有不同的内涵。

　　在考试测评维度应用场景中，软件的功能实现值指的是软件是否实现了其设计和规划的所有基本功能。在评估时，需要检查软件是否能够有效地创建、管理、发布考试题目，以及是否具有学生作答、自动评分等功能。软件应确保基本功能都可以正常运行且用户友好易用。在考试测评维度应用场景中，软件的功能完整值则是指软件是否同时提供一些额外的功能，以满足多样化的教学和学习需求。例如，是否支持多种题型(选择题、填空题、解答题等)、自适应性测试、测试分析报告等。检验评估软件是否提供完整的功能组合，以满足用户的各种需求。在考试测评维度应用场景中的场景需求匹配值指软件是否能够满足不同教学场景下的需求。例如，是否支持在线考试、离线考试、移动设备使用、多种语言支持等。软件的场景需求匹配值体现了软件的灵活性和适应能力，以满足不同用户的使用要求。考试测评维度应用场景中的功能先进值则指的是软件是否提供一些领先其他软件的功能，如智能组卷、人工智能辅助评分、实时监控学生作答情况等。软件如果提供一些前沿的功能，可以增加软件的吸引力和竞争力。在考试测评维度应用场景中的业务创新值是指软件是否采用了一些新颖的教学管理理念和技术，以提高教学和学习效果。例如，是否提供个性化学习建议、定制化的测试方案等。软件的业务创新值可以帮助用户提升教学质量和管理效率。因此，评估考试测评应用场景中智能软件的表现，应该综合考虑功能实现值、功能完整值、场景需求匹配值、功能先进值、业务创新值等多个方面，以全面评估软件在教学测评领域的应用能力和竞争优势。

　　在教师评估维度应用场景中赋予二级指标与其在考试测评应用场景中完全不同的内涵。功能实现值是指软件是否实现了其承诺的基本功能。教师可以通过自行测试软件功能，以确保软件在创建、管理，以及发布考试、评析测评结果等基本功能上具有可靠性和稳定性。教师也可以通过与其他教师的交流和使用经验，了解软件在实际教学环境中的功能表现。功能完整值是指教师可以评估软件的功能完整值，了解软件是否提供了一套完整的功能组合，以支持多样化的教学需求。通过查看软件的功能列表，教师可以评估软件是否提供了不同题型、自适应测试、测试分析报告等功能。教师也可以根据自身的教学需求，判断软件是否满足了自己的功能要求。场景需求匹配值指教师可以根据自己的教学场景需求，评估软件在不同场景下的适应能力。例如，教师需要判断软件是否支持在线考试、离线考试、移动设备使用等。通过实际使用软件进行考试和教学活动，教师可以了解软件在不同场景下的匹配程度。功能先进值指教师可以评估软件的功能先进值，以确定软件是否具有领先其他软件的功能。教师可以通过了解软件的最新更新和功能介绍，以及对比其他类似软件的功能差异进行评估。如果软件具备一些前沿的教学功能，教师可以加强对软件的认可。业务创新值指教师可以评估软件的业务创新值，了解软件是否采用了新的教学管理理念和技术。教师可以通过软件提供的个性化学习建议、定制化的测试方案等功能，来评估软件在提升教学质量和管理效率方面的创新性。通过以上二级指标，教师可以全面评估教学测评软件的表现，以确定软件是否满足其教学需求和提高教学效果。

　　在学生评估维度应用场景中评估指标架构的二级指标具有区别于以上两个应用场景的内涵。在学术评估维度应用场景中功能实现值指软件是否满足基本的教学需求。学生可能会关注考试测试软件是否能够顺利进行考试、提交答卷、查看成绩等基本操作，重点关注软件的稳定性和易用性。功能完整值指学生可以评估软件使用是否满足学生学习需求，以确定软件是否提供多种题型、自适应测试、测试分析报告等功能，来满足不同教学需求。学生可能会希望软件能提供多样化的题目类型，以适应不同学科和知识点的测试。场景需求匹配值指软件是否能在不同学习场景下进行使用。例如，学生可能希望软件支持在线考试、移动设备使用等，以便在多种学习环境下进行测试。功能先进值指学生可能会关注软件的功能是否具有一些领先其他软件的特点，如智能组卷、个性化测试等功能。学生会关注这些功能是否能够提高学习的有效性和趣味性。功能先进值指的是学生通过使用多数教育软件，认为该软件的部分功能优于其他教育软件，以了解软件是否采用了新颖的教学管理理念和技术。例如，个性化学习建议、定制化的测试方案等。学生希望软件的创新性能够提升他们的学习效果和体验。通过以上二级指标，学生可以判断考试测试软件是否满足学习需求，以及软件是否提供有效的学习支持和促进学习。

　　3.三级指标的确立

　　评估指标架构包含多项三级指标。评估指标架构中将考试测评维度应用场景对接到智能教育软件具体的场景评估方面，主要评估智能教育软件对考试测评相关场景的功能实现程度和功能完整程度，共设计了27项核心功能指标、36项核心场景指标，基本涵盖了考试测评系统所需的功能和常见的考试测评场景，并对每个功能集合从功能属性、业务契合和魅力属性三个角度进行了评估。评估指标架构中将教师评估维度应用场景细化为底层逻辑评估和具体场景评估两个方面。在底层逻辑评估上，主要评估教师评估类智能教育软件的功能实现程度和完整性，在具体场景评估上，主要是评估智能教育软件对教师评估相关场景的适配度，共设计了24项核心功能指标、9项底层逻辑实现指标、20项教师评估场景指标，基本涵盖了教师评估系统所需的功能和常见的教师评估场景，并对每个功能集合从功能属性、业务契合和魅力属性三个角度进行评估。评估指标架构再将学生评估维度应用场景细化为底层逻辑评估和具体场景评估两方面进行评估。在底层逻辑评估上，主要评估学生评估类智能教育软件的功能实现程度和完整性，在具体场景评估上，主要是评估智能教育软件对学生评估相关场景的适配度，共设计了24项核心功能指标、9项底层逻辑实现指标、34项学生评估场景指标，基本涵盖了学生评估系统所需的功能和常见的学生评估场景，并对每个功能集合从功能属性、业务契合和魅力属性三个角度进行了评估。

　　五、结语

　　构建面向教学“测评”的智能教育软件评估指标体系，梳理其发展进程、掌握其发展规律，把控其质量水平的关键是确立我国当前面向教学“测评”的智能教育软件评估指标体系。本研究构建面向教学“测评”的智能教育软件评估指标体系，明确了目前我国面向教学“测评”的智能教育软件的三大应用场景，即考试测试、教师评估、学生评估;确立了目前我国面向教学“测评”的智能教育软件的三大属性，即功能属性、业务契合属性、魅力属性。依托本研究构建的面向教学“测评”智能教育软件评估指标体系，将同时为深入了解我国现有面向教学“测评”的智能教育软件的发展水平与特征、挖掘用户使用智能教育测评软件的潜在功能需求、开发新的智能教育测评软件等工作提供科学依据和理论指导。

　　参考文献：

　　[1]祝智庭,张博,戴岭.数智赋能智慧教育的变与不变之道[J].中国教育信息化,2024,30(3):3-14.

　　[2]张志华,王丽,季凯.大数据赋能新时代教育评价转型:技术逻辑、现实困境与实现路径[J].电化教育研究,2022,43(5):33-39.

　　[3]刘邦奇,袁婷婷,纪玉超,等.智能技术赋能教育评价:内涵、总体框架与实践路径[J].中国电化教育,2021(8):16-24.

　　[4]刘天丽,杨现民,李康康,等.社会公众如何看待“ChatGPT+教育”?——基于国内主流开放社区的文本分析[J].现代教育技术,2023,33(10):14-23.

　　[5]郑智勇,宋乃庆.中小学教师智能教育素养测评指标体系构建研究[J].中国电化教育,2023(12):75-83.

　　[6]杜华,袁璐欣,王璐瑶.教师智能素养评价的国际研究:主体、要素、工具与建议[J].中国教育信息化,2024,30(4):79-88.

　　[7]郑智勇,肖林,宋乃庆.中小学教师智能教育素养的现状分析与提升路径——基于11,703位教师的实证调查[J].教育发展研究,2023,43(4):30-39.

　　[8]YDESEN C. International encyclopedia of education[M]. 4th ed. Amsterdam: Elsevier, 2023.

　　[9]CHEN Q. Music teaching software development based on neural network algorithm and user analysis[J]. Entertainment Computing, 2024(49).

　　[10]CONATI C, BARRAL O, PUTNAM V, et al. Toward personalized XAI: a case study in intelligent tutoring systems[J]. Artificial Intelligence, 2021.

　　[11]张华,王丽丽.基于大数据的智能教育软件评估研究[J].电化教育研究,2017(4):61-66.

　　[12]李丹,何莉.智能教育软件评估指标体系构建研究[J].教育技术研究,2019(1):49-53.

　　[13]王永固,张志勇.基于教学过程的智能教育软件评估模型研究[J].计算机应用与软件,2018,35(10):18-22.

　　[14]刘永芳,周荣庭.智能教育软件应用效果的实证研究[J].现代教育技术,2016(6):40-45.

　　[15]方海光.基于ESVUM模型的教育软件价值评测框架的研究[J].现代教育技术,2008(9):120-124.

　　[16]GARRETT J J.用户体验的要素[M].北京:机械工业出版社,2007.

　　[17]上田勋.编程的原则:改善代码质量的101个方法[M].北京:人民邮电出版社,2020:100-117.

Intelligent Education Software Evaluation Index System for Teaching Evaluation:

Excerpt from the 2023 Annual Report on Artificial Intelligence Promoting

the Development of Education (Ⅵ)

Guohong ZHAO, Yanlong GAI, Yun MA, Zhina LI

(Normal College, Yanbian University, Yanji 133002, Jilin)

　　Abstract: With the flourishing of digital technology, intelligent educational software is emerging one after another, and intelligent education software for teaching “evaluation” is mixed. Building an intelligent education software evaluation index system for teaching evaluation is the key to mastering its quality line. This study examines the development of an intelligent education software evaluation index system, designed for teaching evaluation, utilizing methods including literature review, market research, and expert consultation. This indicator system includes two levels of dimensions and three levels of indicators. The three primary dimensions are exam testing, teacher evaluation, and student evaluation. The examination and testing dimensions include five secondary dimensions: intelligent paper formation, intelligent grading, intelligent exam analysis, intelligent exam management, and online exam management; Both teacher and student evaluation processes include five secondary indicators: data collection, data processing, evaluation plan, evaluation feedback, and evaluation scenarios. The three primary indicators are: functional implementation value, business fit value, and charm attribute value; The five secondary indicators are: functional implementation value, functional completeness value, scenario requirement matching value, functional advancement value, and business innovation value; In addition, it includes several three-level indicators. Based on the evaluation index system proposed, it can provide scientific basis and theoretical guidance for in-depth understanding of the development level and characteristics of existing intelligent education software for teaching evaluation, exploring the potential functional requirements of different types of users using intelligent education evaluation software, and developing new intelligent education evaluation software.

　　Keywords: Teaching evaluation; Intelligent education; Educational software; Evaluation indicators; Indicator system

　　编辑：王天鹏　校对：王晓明