目 录
摘 要 ........................................................................................................................ I ABSTRCT ................................................................................................................ II 1 引 言 .................................................................................................................. 1 1.1 现有考试系统的现状 ........................................................................................ 1 1.2 计算机自适应考试系统的发展现状 ................................................................... 2 1.3本系统目标和系统技术要求 .............................................................................. 4 1.4 本文主要内容简介 ........................................................................................... 5 2 自适应考试系统理论及基础 .................................................................................. 6 2.1 项目反应理论（ITEM RESPONSE THEORY）概述 ...................................................... 6 2.2 自适应考试（CAT）系统的原理 ....................................................................... 14 3 基于IRT理论的CAT系统的分析与设计 ............................................................... 18 3.1 CAT系统的开发工具及运行平台 ...................................................................... 18 3.2 系统的可行性分析 .......................................................................................... 19 3.3 系统的需求分析 .............................................................................................. 22 3.4 基于IRT的CAT系统的功能模块设计 .............................................................. 24 3.5 数据库的设计 ................................................................................................. 29 3.6系统安全性设计 .............................................................................................. 33 4 基于IRT理论的 CAT系统的实现 ...................................................................... 35 4.1 题库的设计和建设 .......................................................................................... 35 4.2 用户管理模块的实现 ....................................................................................... 35 4.3考试模块的实现 .............................................................................................. 40 4.4 IRT考试功能模块的实现 ................................................................................. 44 4.5 IRT算法的改进 ............................................................................................... 47 5 系统测试与系统运行分析 .................................................................................... 55 5.1 基于IRT理论的CAT系统的使用测试 .............................................................. 55 5.2 系统运行分析 ................................................................................................. 55 6 总结与展望 .......................................................................................................... 60 6.1 总结 ................................................................................................................ 60 6.2展望 ................................................................................................................ 60
I
致 谢 ...................................................................................................................... 62 参考文献 .................................................................................................................. 63
II
工程硕士学位论文 1 引言 1 引 言
1.1 现有考试系统的现状
学习和考试总是紧密结合在一起的，随着学习方式走向电子化、远程化，考试也在实现无纸化。无纸化考试系统就是把计算机作为工具来替代人类的手工出题、发题、身份验证、监考、收卷、阅卷、统分和试卷分析等过程，使得考试更加严格、真实可信，从而达到降低考试成本，提高考试效率的效果。同时组织考试的机构通过计算机简化了发卷、收卷、评卷等考试过程，对考生的答题情况可利用软件进行分析，以便进一步反馈指导教与学的活动，从而更加方便地利用计算机来组织考试。
传统的测验，所有考生，不论学习水平高低全部要接受同一试题的检测，结果对水平低的考生来说，那些难度偏大的试题，根本无从下手，反而引起焦虑，不利于测试，反应不出对应的水平。而对于高水平考生来说，那些难度小的试题，又测不出考生的真实水平，徒然浪费时间和精力[1]。实践经验和理论分析都证明，当题目难度与考生水平相适应时，题目所提供的信息量最大，考生的积极性最高，测验效度也就最好[2]。
目前，计算机“无纸化考试系统”因为安全系数比较高，利于组卷及评阅，自动化程度高，无纸化资源消耗低，已在各种考试中广泛应用。但绝大部分考试系统只是简单的利用计算机作为工具，将试题输入计算机打印出来而已，或者仅仅是将笔试改为上机测试，最明显的例子就是将测试题目放在网上进行测试。
总体来说，现有的网上考试系统能够为广大被测者在一定的范围内提供一些便利，具有较好的性能，也得到了广泛的应用，相对于传统测试已取得了较大的进步。然而，由于技术限制和其它部分原因，很多现有的网上考试系统在考试内容和考试形式上，已经大大滞后于教学的其他环节。
目前远程教育的大部分考试系统中，不足之处还是很多，主要表现在以下几点：
1、考试设计没有科学性
现有的考试系统由于缺乏先进考试理论的指导，往往只是把大量的试题简单的罗列起来收集到数据库中，但是，这些题目大部分只是按科目分类，没有针对试题的难度信息，知识点信息以及学生对该题目的反映情况等信息进行分析处理，因此这种考试系统不能设计出合理的试卷。例如对所有考生要么偏难要么偏易，不能真实反映被测试者的实际水平，也把握不了试卷的精度和难度水平；试题过度地集中在某类知识点和某些章节等
1
工程硕士学位论文 1 引言 情况；由于收集不到学生对试题的反馈信息，就无法进一步对试卷进行彻底的分析，也就无法总结经验，为下一次考试提供有价值的参考。
2、考试实施开放性不足
网络技术的引入使得考试系统可以在不同地域同时进行，但其前提条件首先必须是在指定的地点，不在指定地点考试将无法进行；其次，考试时间也是固定的，考生必须在规定时间参加考试，而且要在规定时间内答完试题；最后，所有被测者所检测的题目都是一样的。学生的考试成绩在很大程度上受到心理、生理和外界环境的影响，因此不同场次的考试之间无法进行比较，不具有可比性。
3、考试技术手段单一
与传统考试相比，目前还是统一出题，统一试卷，统一时间和地点，人工改卷，试题库试题少、涵盖范围窄。人工改卷，也增加了考试成绩的主观性，不利于反映出学生真实水平。 1.2 计算机自适应考试系统的发展现状
以上提到的当前考试系统的这些弊端使得网上考试难以被广泛采用，限制了网上教学与测试的发展。很多考试正是考虑到这些问题和困难以及解决问题的困难性，至今仍然采用很落后的方式进行。
而造成以上问题的根本原因就是考试理论的不足，因此，为了解决这些问题，有人就提出了以先进的考试理论作为指导来组织考试，来提高考试效率和考试的适应性、科学性。从而导致了计算机自适应考试理论(Computerized Adaptive Testing，简称CAT )的大量研究与应用。
在当前众多的新型考试方法中，基于项目反应理论(item response theory)
(Hambleton&swaminathan,
1985;Hambleton,
Swaminahtan,
&Rogers,1991；Hulin, Drasgow, &Parsons, 1983;Lord, 1980[3,4,5,6])的计算机自适应考试是近年来将计算机技术应用于教育测量学并取得重大进展的考试方法。
在1979年，CAST——著名的计算机自适应考试系统诞生于美国军方实验室，这是首个全国范围的CAT；在信息产业中，美国络维公司在1991年成功地应用了CAT进行认证考试，首次使参加络维自适应考试的人数超过了百万人次。现如今在美国，计算机自适应考试理论己经在教育测验、职业测量、人事评测等领域中广泛应用，如美国研究生入学考试(Graduate Record Examination)、全美护士国家委员会资格考试(Nurse National Committee License Test)以及工商管理类研究生入学考试(Graduate for Management and Administration Test)等都已经采用了CAT考试方式。
针对参加测试人数的限制，许多学者进行了大量研究，国外现有一些
2
工程硕士学位论文 1 引言 大型自适应考试系统软件，如麻省理工学院心理学实验室研究设计的BIGSTEPS软件，可处理3300个项目和35000个考生的数据。美国教育测试中心和麻省理工学院的专家共同开发研究的BILOG软件，能处理3000个项目，尤其是被测者数量不限，很适合国内当前的大型考试分析。美国“测试系统公司”（ASSESSMENT SYSTEMS CORP0RATION）在全球计算机测试系统中首屈一指。该公司的FastSimpleTEST Professional是一套基于局域网和可视平台的多媒体在线测试软件，也可用于自适应测试。使用该软件测试可产生是非判断题、配对题、多项选择题（最多可达40个选项）等，同时支持音频、视频和图形等多媒体文件，还具有随机出题、实时随机、题目衍支、关键词查询、统计分析等功能。其中的功能模块具有暂停、点播或预览题目、跳越题目、局域网管理、显示题数、实时时钟、题目反馈、限定及格线等功能。有消息表明自适应考试是微软今后考试的主要类型[7]。
在我国，已经有大批学者和机构进行了CAT应用型的研究，自行进行了一些CAT测验，并取得了实际的运用效果，如北京理工在北京市计算机应用能力的考试项目“VB6.0程序设计”中已采用了CAT的考试设计方法。江西师大小学数学CAT研究[8]、华南理工大学的“数据结构”自适应测试系统的研究也取得了一定的成果。江西师范大学丁树良的“一个计算机化自适应考试系统”采用VB6.0和SQL 7.0开发。杨琳的基于Web的自适应考试系统采用SQL 7.0和ASP.net开发。使用的考试系统很多还是没有采用CAT的形式，但
目前国内CAT应用于考试系统的还不是很多，但对IRT的研究与应用逐渐得到了教育部门的普遍关注，也取得了一定的成绩，自上世纪九十年代初期开始，全国大学英语四、六级考试委员会一直致力于项目反应理论和“计算机自适应测验”的研究和开发[9]，相信在不久的将来会实现这一突破。在不远的将来，CAT将成为所有重要考试的主要形式，在社会各个方面发挥重要作用。
但是，要真正彻底地实现计算机自适应考试，能作到在考试过程中，由考生对某一题目的难度来及时确定出相适应的考试策略，这还是有相当难度的。主要表现在[10]:
1、及时响应和大量统计的矛盾
这种方法是建立在大量计算和大量统计的基础上的，系统在考虑及时响应的时候会碰到高效地进行大量计算的问题。怎样才能在每一次完成作答之后计算出学生的能力水平并使考试过程适应考生的能力水平，同时又不影响到系统计算的及时性，这是目前最大的困难，也是亟待解决的问题。
2、难以确保参数估计的精度
3