基于认知诊断评估的英语阅读测评的文献综述

基于认知诊断评估的英语阅读测评的文献综述

(四川师范大学)

摘要:认知诊断评估(CDA)因能及时反馈考生测评后的精准信息而被广泛应用,而随着经济全球化带来的“英语热”,英语阅读这个技能成为了学生的必修课,鉴于此本文首先界定了“认知诊断评估”和“英语阅读”的核心概念,这为后续的文献梳理具有方向性作用;其次梳理出了近些年国内外对其研究的相关文献,并整理分析出了一条认知诊断评估下英语阅读的线索;最后依据已有的成果提出了一些个人的看法和见解。

关键词:认知诊断评估;英语阅读;统计测量

1前言

阅读是英语学习中最重要的技能之一,也是英语学习者应掌握的基本技能。但是,英语作为一种语言学科,具有学科特点和语言特点,因此在认知诊断评估的基础上,有必要对英语阅读测评的相关概念进行界定。

1.1概念界定

1.1.1英语阅读

英语阅读是阅读者与文本载体的双向交互活动,其中包含了个体复杂的认知加工成分(Koda2005;Grabe,2009)。

1.1.2阅读理解

阅读理解作为英语阅读测评的最基本的内容,其核心在于对语音意识,单词识别技巧和语法意识的正确运用,此外还包括对语法、语义的高级处理技巧。因此,读者需要整合各种认知、语言和非语言技能和过程,从而有效的理解文本(Dhanapala&Yamada2015)。

1.1.3认知诊断评估

1.1.3.1测量学将认知诊断定义为人们通常把对个体认知过程、技工技能或知识结构的诊断评估;Leighton&Gierl(2007)将其定义为:通过被试在测试中的作答反应来估测其潜在特质和知识状态。

1.1.3.2核心概念

(1)认知属性:认知属性是学生在测试过程中表现出来的认知状态、知识结构和技能策略(Buck&Tatsuoka1998)。Yang和Enbretson认为心理或教育中的认知诊断至少应该测量三方面的认知特性:一是特定的认知领域较重要的技能或知识;二是知识结构;三是认知过程(赵茜,辛涛和刘雨甲,2017)。

(2)认知诊断理论(CognitiveDiagnosticTheory,CDT)的概念

CDT是认知心理学与心理测量学相结合的产物,聚焦个体对知识点的掌握,而不是根据学生的测验成绩就简单地评价其学习结果。而认知诊断理论作为一种新的测量理论,已成为当前国际教育和心理测量理论发展的前沿领域。

(3)认知诊断模型(CDM)的概念及其分类

CDM作为CDT的核心领域之一,相对于其他模型,比如项目反应理论(IRT)和经典测验理论(CTT),它侧重于根据考生尚未掌握的技能来解释其表现不佳的原因,是用于实现认知诊断功能的数学测量模型,从而为个体的知识掌握情况提供更精确的补救措施(Henson2009)。

1.2英语阅读测评的应用流程

基于认知诊断评估的英语阅读测评有两种类型,第一类是基于已有的非诊断性的英语阅读测评进行诊断评估,第二类是设计诊断性英语阅读并对其进行诊断评估。这两类评估都有两大阶段,但第一阶段是不同的。第一类评估的第一阶段为根据现有英语阅读测试试题确定认知属性及Q矩阵,第二类评估的第一阶段是根据诊断目标确定认知属性及Q矩阵并编制英语阅读测试。两类评估的第二阶段是相同的,即结合认知诊断模型,依据测试结果进行诊断评估和分析(陈慧麟2015)。

2基于认知诊断评估的英语阅读测评的研究概况

由于英语作为一门特殊的语言学科,英语阅读又是衡量学生英语能力的重要指标,因此国外有许多关于英语阅读的研究,但基于认知诊断评估而来的英语阅读诊断分析较少,而且蔡艳等(2010)也发现了这些著名的研究中界定的认知属性并不适用于中国的实际教学,所以近年来我国学者开始将英语阅读与认知诊断结合起来,将中国的实实测数据进行诊断分析等研究。这些研究大体可以分为两类:第一类是应用现有的认知诊断模型对英语阅读进行诊断评估;第二类是构建新的英语阅读的认知诊断模型,并将其应用于英语阅读测试,最后进行认知诊断评估与分析。

2.1基于认知诊断评估的英语阅读测评的国外研究概况

基于第一类的研究概况:最早对语言测试的认知诊断研究可追溯到20世纪90年代,自Sheehenetal.(1993)在美国教育考试服务中心(EducationalTestingService,ETS)发表了应用规则空间模型(RSM)诊断美国青少年文本加工技能的报告后,Sheehan(1997)基于树的回归方法应用于学术能力测验(SAT)语言推理测试以及托福阅读测试。Bucketal.(1997)则采用RSM对托业(TOEIC)考试阅读试题的认知属性进行了认知诊断评估与分析,这为后面的学者确定英语阅读的认知成分有了很大的借鉴意义;同样Buck&Tatsuoka(1998)和Kasai(1997)选取了412名日本大学生作为施测对象,并把规则空间模型(RSM)应用于托福(TOEFL)阅读测验进行诊断。

继而Jang(2005)使用下一代英语测试的两个原型测试作为外语考试(NGTOEFL),结果表明当老师告知学生的具体不足之处时,学生的技能有了显著的提高。随后vonDavier(2008)将一般诊断模型(GDM)模型应用于托福(TOEFL)的阅读试题,并对测试中的认知属性进行了认知诊断;而Lee&Sawaki(2009)在vonDavier(2008)基础上将GDM模型、FM模型以及潜在分类模型(LCM)三种补偿模型应用于托福(TOEFL)考试的阅读试题,并对试题的认知属性进行了认知诊断。

Jang(2009)则将融合模型(RUM)应用于LanguEdge阅读理解测试中应用的效度情况,结果表明:与传统的聚合测试评分相比,CDA方法可以提供阅读能力水平更细粒度的诊断信息。但杜文博等(2018)指出该研究所采用的阅读试题并非诊断性测试,试题是否具有诊断功能以及认知属性与题目的拟合度都有待研究。Wang&Gierl(2011)通过属性层级方法(AHM)对学生SAT批判性阅读中的认知技能进行了诊断分析,并通过有声思维法(thinkaloudprotocol)以及属性层级一致性指标,从定性和定量两个视角证明了属性层级的有效性,从而得出个体的未能观察到的知识状态。然而,杜文博等(2018)指出被试的计分方式仍以0-1二分法呈现,施测后仅能得到学生是否掌握的情况,因此这种评分分类的方法可能会丢失一些重要的信息。Kim(2015)将RUM应用于成人二语分班阅读分级测试进行了认知诊断评估,并结合研究定义的10个英语阅读认知属性,通过拟合之后得到了相对精细的诊断信息。

2.2基于认知诊断评估的英语阅读测评的国内研究概况

放眼国内,目前涉及英语阅读测试的认知诊断研究还处于萌芽阶段,对于认知诊断模型应用方面的研究比较稀缺:比如张玉美等(2018)将G-DINA模型delaTorre(2011)应用于八年级学生英语阅读能力的诊断评估,为英语教学提供了更精细的反馈信息。

对于构建认知诊断模型应用与英语阅读方面的研究较少:比如蔡艳(2010)分别通过英语阅读的认知分析、ERPS能力评估、新模型的开发以及新模型下ERPS能力评估,四大研究全方位的阐明了英语阅读问题解决的群体水平的诊断评估,该研究结合2GPLM,RSM和AHM模型开发出了群体水平认知诊断模型一CYGCDM模型,并采用某省410所学校82000名学生的实测高考阅读理解的数据进行分析,蒙特卡罗研究结果也显示新模型(CYGCDM)是可行有效的;随后蔡艳等(2011)通过认知诊断的方法,探明了中学生英语阅读问题解决的八个认知属性,并采用AHM对实测的高考用于阅读理解数据进行整理分析,这为教学研究提供了丰富的信息,但文中并没有详细讲解认知属性是如何一步步确定的。继而杜文博等(2018)在其基础上构建了英语阅读的认知诊断模型,结合已确定的八个英语阅读认知属性,并通过诊断性英语阅读测试最后生成了关于总体和个体的诊断性信息,与仅呈现单一分数的传统测试不同,科学的英语认知诊断有其独特的应用价值,其诊断结果更能获得学生精细的内部加工信息。

3关于认知诊断评估英语阅读测试的简评

由于认知诊断评估(CDA)可以精细的呈现被试的属性掌握情况从而提供形成性诊断反馈,其中CDA的方法是将认知诊断理论与概率模型结合起来,旨在测评个体对测试属性的掌握程度。因此将英语阅读与认知诊断评估结合起来是有必要的,下面从国内和国外两个角度进行简评。

3.1基于认知诊断评估的英语阅读测评的国外研究简评

(1)FM等其他补偿性诊断模型是英语阅读测评中的常用的模型;

(2)综上,国外大多数的英语阅读测评都基于大型的测试数据(比如托福等考试),这对于后续学者有巨大的参考价值,同样也具有一定说服力,但在一些测试中会将一些项目给去掉,这可能会影响诊断结果的失误(Jang2009),而且大多都是非诊断性测试,计分方式也局限于二级评分。

3.2基于认知诊断评估的英语阅读测评的国内研究简评

(1)蔡艳(2011)分别从“文本表征”和“反应决策”两个认知加工过程确定了“复句理解”等八个认知属性,而杜文博等(2018)则分别从语言知识与策略技能两类语言框架确定了“理解句子字面意思”等八个认知属性,但文中受试者是以什么标准选取的?如何以760名大学生的测验结果来推广使用等等。此外,笔者通过对比发现,虽然确定属性的视角不同,但确定好的属性实质是相同的,但杜弥补了其没有详细阐述属性确定的不足之处,但两者在测试编制好后,并没有进行试测,因此建立的认知属性Q矩阵是否合理还存在疑问。

(2)除此之外,以上的研究成果离不开其他学者作答基础性工作,比如陈慧麟(2015)总结了语言测试的基本流程和注意事项等等,为英语阅读测评工作提供了借鉴。

4结论与展望

本研究以“认知诊断评估”和“英语阅读”为关键词,查阅到了相关文献,并梳理了一条脉络,即认知诊断评估下的英语阅读测评可以分为两种,第一种是学者通过构建新模型应用于测试,并进行诊断反馈;第二种则是通过已有的认知诊断模型应用于大型英语考试数据,然后进行验证性分析,可为认知诊断评估大背景下的英语阅读测试提供些许线索。

由于时间和能力的原因,本研究在以下几个方面还需改进:

(1)笔者在查阅文献过程中,仅查阅到国外应用认知诊断模型方面的,而关于第一种研究脉络方面没有发现,这也是笔者下一步进一步需要做的工作;

(2)虽然以上学者的大多研究对补偿性模型进行了不同程度的应用,但评分方式和测试类型受到了局限,而多级评分项目与二级计分方式相比,能提供更多信息量(Samejima,1976),因此对它的使用对英语阅读测评的研究具有重要意义;

(3)认知诊断评估在未来英语阅读测评的研究趋势也不仅限于上述提及的测验方向。除了对模型的应用,在计算机自适应背景下也是研究的重点之一,其他研究者们已经进行了初步的探索,集中在黄立华和许晓佳(2017)以及陈丽(2014)等等;

(4)从梳理的脉络可以看出,对第一类的研究较第二类的研究相对成熟,但通过杜文博和蔡艳的研究也可以发现建模测评的一些优势,这也是笔者下一步需要继续探索的地方。

参考文献

[1]蔡艳,丁树良,涂冬波,英语阅读问题解决的认知诊断[J].心理科学,2011,34(2):272-277.

[2]陈慧麟,陈劲松.G-DINA认知诊断模型在语言测验中的验证[J].心理科学,2013,(6):1470-1475.

[3]陈慧麟,赵冠芳.认知诊断的应用———语言测试研究的新阶段[J].外语测试与教学,2013,(2):1-10.

[4]孟亚茹.大学英语听力认识诊断评估模型的构建与验证[D].上海外国语大学,2013.

[5]蔡艳.群体水平的英语阅读问题解决能力评估及认知诊断[D].江西师范大学,2010.

[6]陈慧麟.语言测试中的认知诊断及其应用流程[J].外语测试与教学,2015(02):51-60.

[7]赵茜,辛涛,刘雨甲.我国基础教育质量监测与评价的现状与趋势——第二届“中国基础教育质量监测与评价”学术年会综述[J].教育研究,2017,38(09):154-159.

[8]漆树青、戴海琦、丁树良,2002,《现代教育与心理测量学原理》[M]。北京:高等教育出版社。

[9]Henson,R.A.,Templin,J.L.,&Willse,J.T.(2009).Definingafamilyofcognitivediagnosismodelsusinglog-linearmodelswithlatentvariables.Psychometrika,74(2),191-210.

[10]Buck,G.&K.Tatsuoka.1998.Applicationoftherule-spaceproceduretolanguagetesting:Examiningattributesofafreeresponselisteningtest[J].LanguageTesting15:119-157.

[11]Buck,G.,K.Tatsuoka&I.Kostin.1997.Thesubskillsofreading:Rule-spaceanalysisofamultiple-choicetestofsecondlanguagereadingcomprehension[J].LanguageLearning47:423-466.

[12]Dhanapala,K.&J.Yamada.2015.ReadingprocessingskillsamongEFLlearnersindifferentproficiencylevels[J].TheReadingMatrix:AnInternationalOnlineJournal15(1):25-40.

[13]Grabe,W.2009.ReadinginaSecondLanguage:MovingfromTheorytoPractice[M].NewYork:CUP.

[14]Jang,E.2009.CognitivediagnosticassessmentofL2readingcomprehensionability:ValidityargumentsforFusionModelapplicationtoLanguEdgeassessment[J].LanguageTesting26:31-73.

[15]Kim,A.2015.ExploringwaystoprovidediagnosticfeedbackwithanESLplacementtest:CognitivediagnosticassessmentofL2readingability[J].LanguageTesting32:227-258.

[16]Koda,K.2005.InsightsintoSecondLanguageReading:ACrossLinguisticApproach[M].Cambridge:CUP.

[17]Leighton,J.&M.Gierl.2007.Definingandevaluatingmodelsofcognitionusedineducationalmeasurementtomakeinferencesaboutexaminees’thinkingprocesses[J].EducationalMeasurement:IssuesandPractices26(2):3-16.

[18]Sheehan,K.1997.Atree-basedapproachtoproficiencyscalinganddiagnosticassessment[J].JournalofEducationalMeasurement34:333-352.

[19]delaTorreJ.ThegeneralizedDINAmodelframework[J].Psychometrika,2011,76(2):179-199.

[20]vonDavierM.Ageneraldiagnosticmodelappliedtolanguagetestingdata[J].BritishJournalofMathematicalandStatisticalPsychology,2008,61(2):287-307.

[21]LeeY&SawakiY.ApplicationofthreecognitivediagnosismodelstoESLreadingandlisteningassessments[J].LanguageAssessmentQuarterly,2009,6(3):239-263.

作者简介:何明霜(1994-),女,四川达州人,学历本科,单位:四川师范大学,研究方向:教育学。

标签:;  ;  ;  

基于认知诊断评估的英语阅读测评的文献综述
下载Doc文档

猜你喜欢