IRT等值

现代考试理论。大规模标准化考试的重要标志之一是分数的可比性。为了进行等值处理，大学英语四、六级考试在每一次正式考试前一周，在选定的观察点学校通过随机采样对一定数量的考生进行对比考试，用建立常模时所用的某一保密试卷进行试测。如当年考生的成绩与该年考生成绩没有显著性差异，则说明学生程度没有变化；若当年实际考试成绩发生了变化，则可认为是试卷难易程度变化所引起，这种由试卷难易程度变化引起的分数波动通过上述正态化处理即可加以滤除，从而做到保持分数等值。如果通过对比考试发现当年学生成绩有显著性提高（或降低），则当年实际考试成绩的变化应是学生实际能力提高（或降低）所引起，应当予以承认，而不应当通过正态化处理加以滤除。从1990年，大学英语四、六级考试开始采用试题响应理论(IRT)单参数模型进行分数等值处理。在考试前一周仍然在选定的观察点学校进行对比考试。由于对比试卷和实考试卷是对同一批学生施考的，因此可以把两份试卷的试题放在学生能力的同一个量表上，起到等值的作用。这种等值处理的方法首先是通过随机抽取的样本建立一个等值处理的模型，然后应用于全体考生。由于对比考试和正式考试由同一批考生进行，时间仅相隔一周，因此时间因素和考生程度这两点都不可能成为影响两次考试成绩的主要因素。另外，大学英语四、六级考试的试题由一批经过培训的专业命题员命题，又有严格的质量控制措施，试题经过预测和试题项目分析，试卷的总体难易程度有严格规定，也不可能造成两次考试成绩的重大差异。排除以上因素后，如果对比考试的结果，同一批考生在正式试卷和对比试卷上成绩表现出显著性差异，则只可能来自两个因素：一个是应试态度，例如重视正式考试而不重视对比考试；另一个是存在着泄题的可能性，若考生事先接触过，即使只是部分接触过对比考试试题，也会造成数据的严重失实。为此，自1994年起，采取了两项措施，以提高等值处理模型的精度。首先向参加对比考试的学生在考前正式宣布，两次考试同样有效，并且在对比考试和正式考试中计成绩较好的一次，以引起考生对对比考试的重视，排除应试态度对考试成绩的影响。其次，若某个考生对比考试和正式考试的成绩差(X_d)过大，则视为异常考生，该考生成绩不参与等值处理。同时还规定，在检查考生的两次考试成绩差时，要考虑两次考试的考生成绩总相关。具体做法是先设定一个X_d的数值，排除两次考试成绩差大于这个数值的异常考生；排除异常考生后若参加对比考试的全体考生两次考试的成绩总相关系数低于0.9，则增大X_d的数值，进一步排除异常考生，但样本总量不得少于400人。对经过这些预处理后的对比考数据，使用IRT理论中的真分数等值方法对考试的每一个部分(听力理解、阅读理解等)分开进行等值处理。