李全龙1，2，涂志莹1，苏统华1
（1．哈尔滨工业大学软件学院，黑龙江哈尔滨150001；
2．哈尔滨工业大学计算机科学与技术学院，黑龙江哈尔滨150001）
摘要：考试是评价课程教学效果和学习效果的重要测量工具与测量手段。文章概括课程考试的地位、作用及重要性；针对高校课程考试的特征及软件工程专业教育的特点，探讨如何规范软件工程专业试卷规划、命题设计和统计分析，改善试题质量，提高考试成绩的信度。
教育期刊网 http://www.jyqkw.com
关键词 ：软件工程；课程考试；试卷规划；考试命题
文章编号：1672-5913(2015)15-0013-06 中图分类号：G642
基金项目：2013年黑龙江省高等教育教学改革项目第38号（黑教高函[2013]351号）。
第一作者简介：李全龙，男，副教授，研究方向为物联网及其应用、传感网络、情境感知计算、软件定义网络( SDN)等，liquanlong@hit.edu.cn。
1 背景
考试的最初功能是区分人和选拔人。最早的考试可以追溯到中国古代《尚书·尧典》记载的尧通过考试禅位舜的传说，而世界上第一个全国性统一考试则是科举制度。目前，我国高考、研究生入学考试、公务员选拔考试等仍然侧重于人才测评与筛选这一功能。
考试作为一种测量工具与手段已经应用于现代社会的方方面面，几乎与每个人都息息相关，它不仅越来越受到社会和人们的重视，而且也吸引众多学者和教育界从业人员对考试形式、方法等展开了讨论与研究。考试除了具备人才选拔的功能之外，还常用于对被试者进行评价，以判断被试者对某些知识或技能的掌握程度。高校教育中不同专业的教育目标和培养理念都不尽相同，有各自的特点。例如，软件工程专业教育非常强调对动手能力的培养，注重解决实际工程问题。那么，课程考核试卷如何设计才能根据专业特点及办学理念来准确、客观地评价被试者就显得尤为重要。
2 课程考试定位与命题过程
现代的考试主要分为常模参照考试与标准参照考试两大类。常模参照考试主要测量个体在群体中的相对位置，比如高考、研究生入学等选拔性考试；标准参照考试主要测量被试者是否达到某个标准，如是否及格。高校的课程考试基本属于标准参照考试，但也部分肩负着常模参照考试的作用（如依据课程成绩的高低决定保研资格等）。因此，高校课程考试重点要能够比较客观、准确地评价学生对概念、原理、方法、技术等基础知识的理解、运用以及解决问题能力的程度，同时还要能够对掌握程度的优劣加以区分。课程考试的试卷组成与试题设计必须针对课程考试这一定位，采用科学规范的命题方法，才能有效保证试题质量，进一步保证评价的客观性与准确性。
课程考试命题及分析过程大致分为试卷规划、试题设计以及试卷统计分析3个主要阶段。试卷规划阶段需要针对课程目标、课程大纲、课程知识点分布等规划试卷的总体结构；试题设计阶段是依据规划好的试卷结构设计编制每道试题、制定试题的参考答案，这个过程可能会多次迭代修正试卷结构；当试卷使用、批阅并评定成绩后，需要对试卷得分情况进行统计分析，并作为下一轮课程考试试卷规划与命题的反馈与参考。本文将按照这个过程并以计算机网络、软件工程概论、软件设计模式等课程为例，描述如何规范软件工程专业课程考试命题。
3 软件工程专业课程考试命题方法
3.1 试卷规划方法
试卷规划需要满足课程目标、课程大纲、课程考核目标的需求与约束。试卷规划的基本原则是“重点突出、充分覆盖”。“重点突出”是指课程的重要知识点应该是试卷的重点考查内容，试题量与分数占比相对要高；“充分覆盖”是指试卷考查的知识点要尽可能分散开来，覆盖面要尽可能大，避免出现试卷只偏重某部分知识点的现象。这两点要平衡好，只侧重某一方面都可能导致试卷质量不高，影响评价的客观性与可信性。
为了保证试卷质量，一定要规划好试卷考核知识点与分数的分布，具体可以利用试卷结构明细表这一有效工具，表1为2014年计算机网络课程试卷结构明细表。该表可以方便规划试卷的知识点覆盖情况、分数分配情况、考查层次（识记、理解或运用）构成情况、考查重点分布情况等，科学规范地指导试卷的试题编制。该表可以根据课程章节或知识点结构进行调整，试题考核层次主要分为识记、理解与运用，当然也可以根据需要加以细分。识记类考核层次主要考查学生对概念、原理等的记忆情况，理解类考核层次主要考查学生对相关知识的深入理解，运用类考核层次主要考核学生利用课程相关知识、原理和方法解决实际问题的能力。表l中信息在试卷规划阶段主要确定按章节（或知识点）的分数分配及试卷难度控制，具体试题编号、分数及难度系数则需要在试题设计阶段逐步迭代完善，最终完成表1的完整信息。
表1中每道题的难度系数为对该试题的难度估计，是对该试题难易程度的衡量，表示该题正确解答的比例，难度系数越大表示该题目越简单。难度系数可以表示为：
其中，M为样本集合，C为正确解答样本集合，p为难度系数。试卷的难度系数是每道试题的难度系数及其分值的加权平均结果。
试卷总体难度不应过难（难度系数值太小），也不应太简单（难度系数值太大），否则试卷的区分度会很差，无法达到课程考试承载的选拔性功能。通常试卷难度系数控制在0.5-0.55之间比较合适。
3.2 试题设计方法
完成试卷规划之后，可以进行试题设计。试题设计过程可以遵循如下几个基本原则：
(1)尽可能不出过于简单(p≥0.8)或过于难(p≤0.2)的试题；
(2)尽可能少出考查层次为识记类的试题；
(3)尽可能多出考查层次为运用、理解类的试题，考查学生的动手能力和灵活使用知识的能力；
(4)尽可能设计真实或接近真实的新场景、新问题，避免与往年考题重复；
(5)试题表述要力求严谨，避免歧义；
(6)主观题与客观题比例适中。
一张好的试卷考题主要考核层次应该是运用和理解，识记类的试题应尽可能少，并且分数的分配能够反映课程重点内容的分布。另外，根据软件工程专业工业化的教育理念，学生的动手能力以及灵活运用知识解决实际工程问题的能力都应该是考查的重点。因此在具体试题编制时，应该尽可能设计全新场景，来考查学生对某些知识或原理的理解或运用。例如，在软件工程概论课程中，为了考查学生对UML类图设计中类之间聚合关系的理解，可以设计一个具有聚合关系的系统需求描述（见例1）。通过对该系统需求描述的分析，不仅可以考查学生从实际需求中发现聚合关系并对该关系进行设计的能力，同时还可以综合考查学生对于UML语言的使用能力。
例1：汽车是由各个部件组成的，例如，轮胎、引擎、车框、车窗等，但是这些部件与整体汽车并不是紧耦合的关系，换句话说，部件离开了车仍然可以存在。那么，当我们对汽车及其部件进行UML建模时，应该选用以下哪个图形元素来表示汽车及其部件之间的关系。 ( )
考点：软件工程概论——软件设计方法——面向对象方法设计
答案：D认知层次：问题分析及理论知识运用难度估计：0.45
大多数课程考试都会设计类似于例1的选择题。选择题是目前各种考试中广泛采用的试题类型，具有良好的客观性。但是在命题这类题目时，许多的题目都只考虑了直观概念的考核，如类图中表示聚合关系的符号是什么？这样的命题是典型的单纯考查记忆的试题，并没有考查学生对实际问题的分析能力和解决能力。另外，这样的试题还要特别注意选项的设计。一道好的选择题，每个选项都是精心设计的，除了正确选项，每个错误选项都能代表一类常见错误，也就是“有意义的迷惑项”，而不是随意拼凑的内容。如例1中的A选项，是一个错误选项，该选项的设计是考虑到如果忽略了部件与车之间的聚合关系，只考虑关联关系，就会得到这样一个错误结果；而错误选项C是最具有迷惑性的选项，如果学生混淆了聚合关系和组合关系的话，那么就会得到这样的一个错误结果。
在试题设计过程中，还应该尽可能设计一些真实或接近真实的场景，通过该场景对课程相关知识的综合运用能力进行考查。
例2通过一个“真实”的网络综合考查学生对IP地址、子网划分、路由聚合、路由表、交换机、IP分片、域名解析等知识的综合运用能力。这种类型的综合题可以考查学生利用课程所学基本知识和基本原理解决实际问题的能力。
例2：某网络拓扑如下图所示。路由器EO、E1、E2、E3连接的均为lOOBaseT以太网，Sl、S2、S3为lOOBaseT交换机。RI互联的局域网1、局域网2和局域网3共用IP地址空间192.168.1.0/24，且已将192.168.1.0/26分配给局域网3。路由器相关接口和部分主机IP地址和MAC地址等配置信息如图1所示。Rl和R2的路由表结构为：
请回答下列问题。
(1)请将192.168.1.0/24剩余的IP地址分配给局域网1和局域网2，其中局域网1需要IP地址数不少于120个，局域网2需要IP地址数不少于60个。请给出地址分配结果，并说明局域网1和局域网2的可分配IP地址数以及可分配IP地址范围。
(2)基于问题(1)的分配结果，请分别给出Rl和R2的路由表，要求路由表的入口数（即路由表项数）尽可能少，并且包括到达DNS服务器的主机路由。
(3)请为主机Hl配置IP地址信息，包括lP地址、子网掩码、默认网关以及域名服务器。
(4)若主机H2的子网掩码被配置为255.255.255.0，DNS配置为201.18.3.254，则H2能否成功访问www.sma.com.cn?为什么？
(5)若交换机S2、S3的交换表为空时，主机H3给H6发送一个数据帧fl，接下来H6又给H3发送一个确认帧f2，则从物理层上能够收到fl的主机有哪些？H3收到f2后，S2的交换表中包含哪些表项？（交换表表项结构：<MAC地址，端口>）
(6)假设连接Rl和R2的链路的MTU=500B，当主机H5向互联网发送一个ID=123456，length=1500B，DF=O的IP分组时，Rl需要将该IP数据分组分几片（每片尽可能封装为最大片）?给出分片结果(包括每片的ID、length、DF、MF、offset).
软件工程专业培养的是能够解决实际工程问题的工程师，要具有较强的利用所学理论知识提出有效解决方案的能力。因此，在不同课程的考试命题中，一定要注意综合应用题的设置。例3以软件设计模式考试的应用题命题为例进行讲解。
例3：某游戏公司的一款竞速游戏中，需要设计多种不同品牌、不同性能、不同外观的赛车，请选用合适的设计模式满足这个设计的需求，并给出理由。
例3的设计是为了考查学生对于工厂方法的掌握程度。首先，学生需要正确理解题目表述的设计需求意图，知道工厂方法能解决这个问题，然后给出他们的工厂方法设计思路。
乍一看，这个题目没有什么技术含量，没有层次，但是事实上题目中隐含了潜在的需求。题目给定的背景是游戏公司的一款游戏设计需求，那么隐含的信息就是这是一款投入市场运营的游戏，它需要不断地给用户新颖的体验，游戏道具等的设计必须多样化，也就是说它的设计需要具有良好的可扩展性，对于原有的设计与实现的影响要尽量小。如果对实际工程问题隐含的需求没有敏锐的嗅觉，学生可能就会选择最简单的工厂方法进行设计（如图2所示），每增加一款新车除了需要加入新款车的类，还都需要去修改CarFactory中produceCar的方法。然而，发现了这层需求的学生则会选用抽象工厂方法进行设计（如图3所示），使得系统的可拓展性更佳。每次增加一款新车只需要一个实现了Producer接口的新款车工厂方法类( XXXCarFactory)，以及一个实现了Operation接口的新车实现类用于具体实现及定义新车的性能、款式等内容。当然，学生可以使用其他合适的设计模式进行设计，如建造者模式等。此题是一个开放式的命题，学生可以根据自己的理解提出合适的设计方案。评审者要用开放的思想审视学生的解决方案，但是要对原则性的错误进行批判，对设计的优劣进行准确的判断。
试卷命题完成后，需要经过多次“打磨”，包括试卷整体结构、考查知识点、分数分布、难易程度等审核；对每道试题进行“研磨”，包括题干表述是否清晰、准确，选择题选项设计是否合理、有意义等。经过多次打磨的试卷可以避免或减少错误，尤其是科学性错误；经过多次研磨的试题才可以用于考试。在试题命题过程中（或之后），还需要编写试题参考答案及评分标准。
随着试题设计与编制的进行，需要同时更新表1，并调整试卷结构。试题命题结束，表1信息填写完成。此时可以通过表1全面了解试卷中试题结构、难易程度等，避免试卷过难、过易或者过偏。总之，试题设计的关键是要设计新场景，侧重综合应用能力的考查，避免与往年考题重复，在试题设计过程中充分利用试卷结构明细表。
3.3 试卷统计分析
试卷应用于考试之后，可以通过试评部分完善参考答案并形成评分细则，然后参照评分细则进行评分。试卷评阅完成后进行分数统计，评价试卷的评价效果。比如通过统计（全样本或抽样）分析评价试卷难度，分析每道题的难度、区分度等，并进行归档，作为未来课程命题的参考和指导。最后，还需要作好试卷的试题解析，总结试题设计的初衷，对比该试题实际考试效果，发掘可能存在的问题，反馈并改进教学。
例4：在一个采用CSMA/CD协议的网络中，传输介质是一根完整的电缆，传输速率为1Gbps，电缆中的信号传播速度是200 000 km/s。若最小数据帧长度减少800比特，则最远的两个站点之间的距离至少需要( )
A．增加160 m B．增加80m C．减少160 mD．减少80 m
考点：数据链路层——介质访问控制——CSMA/CD协议
答案：D认知层次：运用 难度系数估计：0.40统计难度系数：0.32
【试题设计思想】通过对特定场景的最小数据帧长度和最远站点距离的变化关系，考查考生对CSMA/CD协议工作原理的深入理解和运用。
【解题思路分析】CSMA/CD协议的一个重要特性是“边发送数据帧，边检测冲突；数据帧发送完成，即结束冲突检测”。因此，CSMA/CD协议若要保证检测到最极端情况下的冲突，必须保证一定的最小数据帧长度，以便传输一个最小数据帧的传输延迟时间不小于相距最远的两个站点在发送数据时出现的极端情况下的冲突。两个相距最远的站点发送数据时产生的最极端情况下的冲突，被检测到的时间为两个站点之间信号传播延迟的2倍。
若学生计算时忽略了往返时间，会得到错误的选项C；若学生搞错了比例关系，则会得出增加80米的答案，选择错误选项B；若学生既搞错了比例关系又忽略了往返时间，则会得出错误选项A的结论。
【效果及教学分析】该题在考试中实际统计难度系数为0.32，说明还有相当一部分学生对这个内容掌握不好。因此，今后教学中还应该强化该部分内容的教学，尤其需要增加相关内容的课堂例题讲解、作业等，使学生熟练掌握并运用该基本原理。
例4是对一道考查CSMA/CD协议原理的选择题的解析，包括试题设计思路解析、解题思路解析、考试效果及教学解析3个方面。试题解析结果是非常重要的资料，可以将长期积累的试题解析内容编辑成册，作为未来学生课程学习以及教学的重要参考辅助资料，这是非常有价值的信息。
4 结语
考试是课程教学效果、学生学习效果评价的重要方法，在一定程度上已经成为课程学习风向标和课程教学指挥棒，规范化、高质量的课程试卷设计对于课程教学至关重要。命题要紧扣教学特点，例如，软件工程专业的课程考核是否能够通过一张试卷检验出学生对实际问题的分析能力和解决工程问题的能力。了解并掌握规范化的试卷设计方法对于每一位教师来说并不难，关键在于我们教师能有多少时间投入到这个重要的教学环节之中。当然，由于课程之间的差异以及课程目标的不同，每门课程选择的考核方式也不尽相同，本文所述方法仅供参考，期望能对教师找到适合特定课程的最佳试卷设计方法有所启发。
教育期刊网 http://www.jyqkw.com
参考文献：
[1]戴家干．从考试到评价：论我国考试与评价制度的改革[J]中国考试，2010(1): 3-8．
[2]汪姣，龚园，学分制下高校考试改革的探索[J]．教育教学论坛，2014(9): 233-234.
[3]李萍，张锐．创新视野下的地方院校课程考试改革研究[J]教育探索，2014(2): 26-28.
（编辑：彭远红）