预计阅读时间为5分钟,可点击右上角“听全文”

最近在准备一个考试,训练完真题以后,试着让Agent出了几套模拟卷子
Agent工具包括以下几个组合
Codex+gpt 5.6
Claudecode+deepseek v4 flash
Reasonix+Qwen3.8
实施步骤大概是
1、把参考真题、出题资料放进一个项目文件夹;
2、告诉他按照真题的题型来出题,避免重复,保持内容上的新颖、难度适中;
做完几套题后,发现Agent实际出题效果差强人意
问题集中在以下几个方面
1、告诉他按照真题题型来出题,他就连问法、内容上都相近,起不到查漏补缺的作用。相当于你练来练去,都在训练相同的知识点
2、出现了明显错误、有违常识的选项,例如“拆除城区所有公园绿地”等表述,这种题目一眼排除法就能看出错误,真实考场不会出现这类选项
3、答案出现明显规律性,例如多选题答案全部为ABC,起不到训练的效果
4、前后题目出现了相互印证的答案,单选的选项出现在了后面的多选和判断题中,客观上给出了提示
5、计算题过于简单(小学生水平),例如出现了直接读题干就能确定答案的题目
6、图形、图片能力基本为零,出不了高质量的识图题
应该怎么出题,怎么写一份提示词
简单客观上来讲,出的题质量差,大概率是提示词没写好,没做细化的要求
为了规避可能出现的上述问题,我直接为大家准备了一份下列提示词
# 命题质量红线(违反即重写该题)
【红线 1:知识点轮换】
同一法条、公式、高频考点禁止在不同题集重复;主观题主题问法全部错开;客观题重复考点需更换细分考点或情境材料。
【红线 2:干扰项质量】
选项均为真实或具备迷惑性表述,禁用荒谬反常识选项。干扰项构造方式:①张冠李戴;②微调数字;③替换程度词;④错位时空条件;⑤调换行为 / 责任主体。正确项与干扰项句式、长度相近,不能靠长短提示答案。
【红线 3:答案无规律】
单选选项命中占比 20%±5%,禁止连续 3 题同答案;多选答案组合不少于 3 种,同一组合不超 3 次;判断对错比例 6:4‑7:3,禁止连续 4 题同判断。
【红线 4:跨题去提示】
前题正确答案表述不出现于后题任意选项;跨题型考同一知识点要变换表述角度,不复用数字、条文号、关键术语组合;材料数据仅限本题题组使用。
【红线 5:难度对标真题,杜绝送分题】
计算资料题严控直接读数、一步求差不超 1 题,考点轮换;数量逻辑题至少两步推理或列方程;削弱、支持类题目至少 2 个高迷惑干扰项,全卷无纯送分题。
【红线 6:图形图片题】
优先用文字替代图示;确需配图按格式【【图:此处需人工配图|题目规律:……|答案:……】】占位,规律、解析完整可独立出题。
有了以上红线要求,至少出题的时候不会犯低级错误了
大家有空可以试一试
以上
请点击下方名片,关注本公众号。由于微信系统改版,关注后请点击右上角,选择“设为星标”与“置顶”,以获得最及时的文章更新
- End -
