语言测试中认知诊断理论的运用探析(3)
时间：2017-03-17 来源：惠州学院学报 作者：李晓娟 本文字数：5919字 （三）认知诊断测试的信度和效度
语言测试的信度和效度一直是人们关注的话题，它是衡量测试好坏的关键指标。信度也被成为可靠性，用来衡量测试结果的一致性和稳定性，而效度又被称为有效性，用来衡量测试是否测出了要测的内容。如果一份测试没有信度和效度，那么它便是无意义的。认知诊断测试要求测试者不仅公布测试分数，还要对测试成绩所包含的被试的知识结构和加工技能进行解释说明。对于怎样保证认知诊断测试的信度和效度，目前国内外的研究仍处于发展状态，其中，信度研究主要集中在信度指标上，且各信度系数的表现仍缺乏系统的比较研究，包括影响因素的研究。在现今阶段，信度和效度系数仅用于评价认知诊断测试的分类结果的精确性和有效性，已有的认知诊断测试的信度和效度评估方法，主要是基于模拟的方法、a系数、相关系数或仅给出模式分类指标等，且整个的信效度评价体系也仍有待进一步完善，需要我们寻求更多的信度和效度的证据去提高认知诊断测试的信度和效度。
在目前的教育测试中，能够直接应用到测试中的认知模型非常少，这就直接决定了诊断反馈结果是否准确和有效，因为在教育测试中，Q矩阵是效度证据的重要来源之一，它的正确与否直接决定了诊断结果的有效性，同时，Q 矩阵本身质量的好坏、信效度衡量指标是否能作为评价 Q 矩阵质量的指标都是值得思考的。在大规模考试中，一些信度和效度指标还是被用来衡量测试的某些属性，这在一定程度上是可以反映出信度和效度的某些方面的，对测试的信度和效度评估具有重要的应用价值。总的来说，在认知诊断测试中，信度和效度研究相对来说是一个较新的研究领域，有待学者们的进一步研究。
四、结语
当代语言和测试理论处于不断发展中，而认知诊断理论作为测试发展的新追求和新阶段，不论是对理论的发展还是对实践方面的测试都具有十分重要的意义。首先，认知诊断有助于测试实现其最主要的功能，即测出要测的内容，并促进被试甚至是整个测试领域的发展。这在很大程度上与现代认知心理学测量观的基本观点是一致的，都是用认知分析的方法来描述心理活动的内在机制，并根据这一点来设计不同形式的测试，从而测出被试心理活动的机制与相应机制之间是否一致或存在缺陷，以便提出补救措施，促进发展。从这个角度来讲，认知诊断是实现测量与发展之间的循环促进作用的关键环节。其次，认知诊断对于提高测试的内容效度具有推动作用。目前，人们在教育和心理领域所用的经典测试理论或项目反应理论都是根据测试的统计特性来指导设计的，对被试的内在知识结构还不够重视，这就使测试的内容效度的分析很难进行。认知诊断理论根据认知心理学的研究成果来设计测试，一定程度上能使测试的内容效度得到保证。再者，将认知诊断理论运用到语言测试中，有利于推进当代的教育实现其个性化特征，也能有效地提升素质教育的进程。它能帮助测试者诊断出被试在学习过程中所存在的认知优势与劣势，进而准确地找出他们在学习过程中存在的问题，也为因材施教提供基础，为素质教育的推进打好基础。
认知诊断测试以其不同的测试目的、功能、测试编制理论基础以及测试项目质量的评价标准区别于传统测试，它有助于测试者更好地了解被试的内部心理活动规律及加工机制，实现对被试的认知发展情况的诊断，以促进被试的全面发展，也对改进教与学提供更加精确的信息，是语言测试未来的发展方向。目前，认知诊断测试还处于发展状态，其应用和相关研究，例如认知诊断模型的开发与选择以及认知诊断测试的信度和效度研究还有待进一步加强，希望未来认知诊断测试在这些方面能继续发展，在教育教学领域中发挥更大的作用。
参考文献：
[1]补爱华。 语言测试方法论[M]. 上海：上海交通大学出版社，2011.
[2]Nitko,Anthony J. Designing Tests That are Integrated with Instruction[A]. In Linn（Ed），1989:455.
[3]Sheehan KM,Tatsuoka KK & Lewis C. A diagnostic classification model for document processing skills[R]. NJ:EducationalTesting Service,1993.
[4]Buck G,Tatsuoka K & Kostin I. The subskills of reading:Rule - space analysis of a multiple - choice test of second languagereading comprehension[J]. Language Learning,1997,47（3）：423 - 466.
[5]Buck G,Tatsuoka K. Application of the rule - space procedure to language testing:Examining attributes of a free responselistening test[J]. Language Testing,1998,15（2）：119 - 157.
[6]Lee Y & Sawaki Y. Application of three cognitive diagnosis models to ESL reading and listening assessments[J]. LanguageAssessment Quarterly,2009,6（3）：239 - 263.
[7]桂诗春。 认知与语言测试[J]. 上海：外语教学与研究，1992（3）：3 - 8.
[8]陈慧麟，赵冠芳。 认知诊断的应用--语言测试研究的新阶段[J]. 外语测试与教学，2013（2）：1 - 10.
[9]洪丽燕。 语言测试中的认知诊断行评价[J]. 烟台职业学院学报，2015（21）：60 - 62.
[10]陈慧麟。 语言测试中的认知诊断及其应用流程[J]. 外语测试与教学，2015（2）：51 - 60.
[11]涂冬波，蔡艳，丁树良。 认知诊断理论、方法与应用[M]. 北京：北京师范大学出版社，2012.
[12]J. P. Leighton & M. Gierl（eds）。 Cognitive diagnostic assessment for education:Theory and Application[M]. Cambridge,UK:Cambridge university press,2007:119 - 145.
[13]汪文义，宋丽红。 教育认知诊断评估[M]. 北京：北京师范大学出版社，2015:11.
语言测试的信度和效度一直是人们关注的话题，它是衡量测试好坏的关键指标。信度也被成为可靠性，用来衡量测试结果的一致性和稳定性，而效度又被称为有效性，用来衡量测试是否测出了要测的内容。如果一份测试没有信度和效度，那么它便是无意义的。认知诊断测试要求测试者不仅公布测试分数，还要对测试成绩所包含的被试的知识结构和加工技能进行解释说明。对于怎样保证认知诊断测试的信度和效度，目前国内外的研究仍处于发展状态，其中，信度研究主要集中在信度指标上，且各信度系数的表现仍缺乏系统的比较研究，包括影响因素的研究。在现今阶段，信度和效度系数仅用于评价认知诊断测试的分类结果的精确性和有效性，已有的认知诊断测试的信度和效度评估方法，主要是基于模拟的方法、a系数、相关系数或仅给出模式分类指标等，且整个的信效度评价体系也仍有待进一步完善，需要我们寻求更多的信度和效度的证据去提高认知诊断测试的信度和效度。
在目前的教育测试中，能够直接应用到测试中的认知模型非常少，这就直接决定了诊断反馈结果是否准确和有效，因为在教育测试中，Q矩阵是效度证据的重要来源之一，它的正确与否直接决定了诊断结果的有效性，同时，Q 矩阵本身质量的好坏、信效度衡量指标是否能作为评价 Q 矩阵质量的指标都是值得思考的。在大规模考试中，一些信度和效度指标还是被用来衡量测试的某些属性，这在一定程度上是可以反映出信度和效度的某些方面的，对测试的信度和效度评估具有重要的应用价值。总的来说，在认知诊断测试中，信度和效度研究相对来说是一个较新的研究领域，有待学者们的进一步研究。
四、结语
当代语言和测试理论处于不断发展中，而认知诊断理论作为测试发展的新追求和新阶段，不论是对理论的发展还是对实践方面的测试都具有十分重要的意义。首先，认知诊断有助于测试实现其最主要的功能，即测出要测的内容，并促进被试甚至是整个测试领域的发展。这在很大程度上与现代认知心理学测量观的基本观点是一致的，都是用认知分析的方法来描述心理活动的内在机制，并根据这一点来设计不同形式的测试，从而测出被试心理活动的机制与相应机制之间是否一致或存在缺陷，以便提出补救措施，促进发展。从这个角度来讲，认知诊断是实现测量与发展之间的循环促进作用的关键环节。其次，认知诊断对于提高测试的内容效度具有推动作用。目前，人们在教育和心理领域所用的经典测试理论或项目反应理论都是根据测试的统计特性来指导设计的，对被试的内在知识结构还不够重视，这就使测试的内容效度的分析很难进行。认知诊断理论根据认知心理学的研究成果来设计测试，一定程度上能使测试的内容效度得到保证。再者，将认知诊断理论运用到语言测试中，有利于推进当代的教育实现其个性化特征，也能有效地提升素质教育的进程。它能帮助测试者诊断出被试在学习过程中所存在的认知优势与劣势，进而准确地找出他们在学习过程中存在的问题，也为因材施教提供基础，为素质教育的推进打好基础。
认知诊断测试以其不同的测试目的、功能、测试编制理论基础以及测试项目质量的评价标准区别于传统测试，它有助于测试者更好地了解被试的内部心理活动规律及加工机制，实现对被试的认知发展情况的诊断，以促进被试的全面发展，也对改进教与学提供更加精确的信息，是语言测试未来的发展方向。目前，认知诊断测试还处于发展状态，其应用和相关研究，例如认知诊断模型的开发与选择以及认知诊断测试的信度和效度研究还有待进一步加强，希望未来认知诊断测试在这些方面能继续发展，在教育教学领域中发挥更大的作用。
参考文献：
[1]补爱华。 语言测试方法论[M]. 上海：上海交通大学出版社，2011.
[2]Nitko,Anthony J. Designing Tests That are Integrated with Instruction[A]. In Linn（Ed），1989:455.
[3]Sheehan KM,Tatsuoka KK & Lewis C. A diagnostic classification model for document processing skills[R]. NJ:EducationalTesting Service,1993.
[4]Buck G,Tatsuoka K & Kostin I. The subskills of reading:Rule - space analysis of a multiple - choice test of second languagereading comprehension[J]. Language Learning,1997,47（3）：423 - 466.
[5]Buck G,Tatsuoka K. Application of the rule - space procedure to language testing:Examining attributes of a free responselistening test[J]. Language Testing,1998,15（2）：119 - 157.
[6]Lee Y & Sawaki Y. Application of three cognitive diagnosis models to ESL reading and listening assessments[J]. LanguageAssessment Quarterly,2009,6（3）：239 - 263.
[7]桂诗春。 认知与语言测试[J]. 上海：外语教学与研究，1992（3）：3 - 8.
[8]陈慧麟，赵冠芳。 认知诊断的应用--语言测试研究的新阶段[J]. 外语测试与教学，2013（2）：1 - 10.
[9]洪丽燕。 语言测试中的认知诊断行评价[J]. 烟台职业学院学报，2015（21）：60 - 62.
[10]陈慧麟。 语言测试中的认知诊断及其应用流程[J]. 外语测试与教学，2015（2）：51 - 60.
[11]涂冬波，蔡艳，丁树良。 认知诊断理论、方法与应用[M]. 北京：北京师范大学出版社，2012.
[12]J. P. Leighton & M. Gierl（eds）。 Cognitive diagnostic assessment for education:Theory and Application[M]. Cambridge,UK:Cambridge university press,2007:119 - 145.
[13]汪文义，宋丽红。 教育认知诊断评估[M]. 北京：北京师范大学出版社，2015:11.
- 相关内容推荐
相近分类：
推荐阅读
