谈计算机动态评价模式同伴反馈有效性

摘要：本研究基于动态系统评估理念，构建了基于Peerceptiv写作平台的动态评价模型，应用于江西一所普通高校大学英语写作课堂评价活动。通过为期16周的动态教学与测试体验，获取大量学生的同伴互评数据和访谈数据。研究结果表明：基于计算机的动态评价能够有效提高学生成绩；与中低水平学习者相比，动态系统评价方式对高水平英语学习者写作能力产生更为显著的影响；被试在进行互评作业时，高水平学习者对待互评的态度更加积极，与中低水平组存在显著性差异。

关键词：同伴反馈；动态评价；大学英语写作；有效性

在心理学和普通教育领域，动态评价的研究早已硕果累累，但在大学英语教育领域尚不多见［1］。国内学者彭金定和韩宝成对动态评价理论的研究使我国外语教师和研究者对动态评价有了初步了解。种种迹象表明动态评价理论涉及的领域与相关内容正在引起国内应用语言学者的兴趣，它为国内外语教学领域的研究提供了全新视角［1］。本研究以江西某普通高等高校300名非英语专业大二学生为研究对象，将其分为高中低水平三组，整个过程为期16周。该课程每周在常规教室进行一次，每次2小时，部分流程需要受试者在课外时间完成。对最终数据采用定性和定量研究相结合的方法，来探究动态系统评价方式对三组被试写作能力的影响。

一、研究设计

（一）研究问题本研究主要回答了三个问题：一是在互评作业时，不同水平被试对待互评的态度是否存在显著性差异？二是学生是否认可同伴反馈的有效性？三是动态系统评价方式对高中低水平英语学习者写作能力产生何种影响？

（二）研究步骤在外语语言教学动态评估基本原理的指导下，初步设计出适合大学英语教学且基于Peerceptiv平台的动态评估模型。这一动态评估模型实现了教学与评估为一体的外语语言教学模式。简单来说，主要包括三个过程，即写作过程、干预过程和综合评估过程，如图1所示。在每个写作周期的第一次授课时，先由教师发起头脑风暴式的交流，引入话题，如师生一起探讨段落结构和常见的修辞。并要求学生以小组为单位，围绕主题讨论问题。然后，他们在课后4天内写出初稿，并提交到Peerceptiv互评网站。然后再由每个学生通过互评网站对其他同学进行匿名互评，指出问题并提出修改意见，每位学生评价4～5份作业。首轮匿名互评结束后，被评价学生根据评价者给出的意见，给出回评，评价互评学生的意见是否中肯，是否有帮助。课前教师对所有互评和回评进行综合审查，检查互评和回评情况。在第二次见面课时，教师根据综合审查情况给出指导意见，并与学生展开互动，回答学生疑问。经过第一轮互评、回评、教师综合审查后，学生根据各类意见以及自己的实际情况，对初稿进行修改，并再次提交互评网站，再次进行互评、回评和综合评价操作。

（三）数据收集研究者将学生的前测写作成绩和分级考试中的写作成绩作为确定其英语水平的标准［2］。写作成绩和分级考试成绩较高的前41名被编入高水平组，125人编入中等水平组，134人编入被分为低水平组。在进行访谈和调查问卷时，研究者共招募50人参加小组访谈，并在期末对其进行跟踪访谈，围绕学生参与同伴互评时的想法和行为展开。

（四）数据分析本研究对同伴反馈采用数据统计和文本分析相结合 的方法，先根据研究目的对整理的访谈语料进行编码，之后结合SPSS24.0进行推断性统计分析［3］。第一，定量分析。本研究中使用了独立样本曼惠特尼（Mann-Whitney）U检验方法以考察高水平组与中低水平组之间最终成绩是否存在显著性差异。高水平组和中低水平组的平均秩次分别为11.29、9.66、9.25。检验结果表明，高水平组和中低水平组在经过16周的动态评价后存在显著性差异（U=9.4，Z=-2.44，p=.007），而且高水平组明显优于低水平组。效应量超过了0.50（r=-0.621），按Cohen（1988）的标准，属于大效应量，表明高水平组与低水平组之间的实际差异较大。第二，定性分析。对三个水平组学习者的互评和回评进行文本分析，从三组写作者的视角分析对方的反馈类型［3］。然后，转写后续访谈并进行文本分析，三方验证同伴反馈类型的异同。

二、研究结果与讨论

（一）反馈积极性研究发现，不同水平被试在进行互评作业时，对待互评的态度存在显著性差异。结果表明，高水平组参与程度更高，参与意识更强，任务一、任务二的参与程度分别为97%、100%。中等水平组次之，参与程度为89%，92%；而低水平组的参与意愿最低，两个任务的参与程度分别为80%、76%。互评的参与程度与参与意愿类似，高中低三组参与意愿基本呈降序排列。这说明高水平组的学习态度要明显优于中低水平组。

（二）互评、回评数据分析1.高分组与中低分组同伴反馈类型分布的总体特征首先对互评、回评、面谈记录进行编辑整理，并将在线的互评、回评评议和面谈记录分为三种类型，即全局反馈、局部反馈和非任务型反馈。全局反馈指评价者从文章整体做出的评价，如整体结构、是否偏题等；局部反馈指评价者就文章局部做出反馈，如个别句子的语法问题；非任务反馈指跟任务不相关的其他反馈。统计结果表明，在三种反馈类型中，全局反馈的发生概率最高，分别占63.68%，81.91%，74.2%，说明与其他两种类型相比，学生更倾向于集中精力进行全局性反馈。高中低三组在局部反馈中差别巨大，在整理互评反馈数据时发现高等水平组更敢于就局部问题提出意见，而中低水平组就文章本身提出的意见非常少，局部反馈类型意见仅占总体意见的2.19%和1.3%。中低水平组评阅者全局反馈类型反而高于高等水平组，但很多全局性反馈仅限于“主题清晰”“语言表达较好”一类的模糊表达，很少指出作者的问题。同时在线互评模式下的评论表现出两极化分布：修改型评论偏高（高水平组85.07%，中等水平组84.1%，低水平组75.5%），非修改型评论较少（高水平组14.93%，中等水平组15.89%，低水平组24.5%）。课题组结合访谈，分析了产生这种情况的原因，认为在线互评模式是在课外时间进行的，学生可能有更多时间去思考如何修改写作问题并提供可行的反馈。高水平组的直接纠错和错误分析明显多于中低水平组。直接纠错和错误分析三种反馈类型主要是学习者针对同伴的语法、词汇和句型等语言使用问题给予的反馈信息［3］。高水平学习者因自身英语的熟练程度，在进行互评时，显得更加自信。2.同伴反馈在二语学习过程中的有效性本研究结果同样表明同伴反馈对二语学习者在写作质量和写作能力方面有积极影响。在教学与测试过程中通过对300名英语学习者互评数据分析发现，同伴反馈对学生作文修改类型的多样性和写作质量方面都有积极影响，同时能够培养学生的批判性思维［4］，反馈的发出者与接收者都能从中受益。以下是本例中动态同伴互评有效性的统计数据，其中5表示同伴互评对作者特别有帮助，4表示同伴互评对作者很有帮助，以此类推，1表示同伴互评对作者完全没有帮助，0表示没有进行同伴互评。从表1可以看出，认可同伴评论有效性的人数（4和5）各组数据分别为57.22%，67.25%，43.95%，说明大部分学习者均认可同伴互评的有效性，但如何进一步提高更加可靠的同伴互评需要更多方法或培训介入教学过程。3.访谈方式产生的同伴反馈与在线互评反馈类型比较从功能上区分访谈记录、见面课产生的互评和在线同伴互评大致可以分为评估、解释、建议、修改四种类型。根据RandallW.Sadler（2003）的说法，评估是指“对写作好坏特征的评论”，解释类陈述是寻找“解释和理由”，建议是指表明“修改方向”的评论，修改是指“提供具体改变”的陈述。如表2所示，在访谈和见面课时，“评估”是最常见的评价类型，较少使用“修改”这一工具。而在在线互评过程中，“解释”是较少使用的评论类型。这一结果表明，在访谈和在线互评过程中，学生会在写作过程中直接做出直观评价，他们可能没有足够的时间来解释自己的不足或者直接修改。然而，在线互评模式产生的评论类型模式却大不相同，其中“修改”出现次数最多，其次是建议、评估和解释。在这种模式下，解释的频率只有2.78%。由于解释通常需要作者和读者之间进行密集互动，因此在这种模式下，基于文本的交流和在线互评模式下缺乏互动可能不利于解释的过程。可以得出这样的结论：在有限的互动模式下，学生往往集中同伴的局部写作错误上，他们会在有条件的情况下，使用网络工具来完成批改任务。

三、结语

本研究考察了在动态理论框架下不同水平学生的任务参与度、评论类别以及对这些模式的看法。尽管在参与程度上有显著差异，但三个级别的学生都对动态互评呈现出类似结果，即大多数学习者都认为在线动态英语写作模式有助于英语写作能力提高。然而，正如以往的研究指出，同伴反馈效果是由多种因素决定的。本研究只有部分名学生参加了后续访谈，有限数据可能限制了我们对同伴评价中不同模式实施情况的全面了解。未来的研究可能会考虑这些问题，进一步探讨不同模式在二语写作课程中整合同伴评价的效果。

参考文献：

［1］任玲玲.动态评估在外语教学中的应用研究综述［J］.黑龙江教育学院学报，2015，34（2）：145-147.

［2］黄绍莹，张荔.自动作文评阅系统对不同水平学习者英语写作能力的影响——基于句酷批改网的研究［J］.外语与翻译，2015，22（4）：70-76+4.

［3］裘莹莹，马广惠，游晓晔.中美跨洋写作互动中同伴反馈类型的对比研究［J］.外语教学理论与实践，2019（2）：69-76.

［4］崔莹，盖笑松，张绍杰.同伴反馈法的有效性及应用于英语写作教学的可行性探究［J］.外语电化教学，2019（2）：3-9.

作者：杜默君 单位：华东交通大学