展开知识库目录
问卷发出去才发现题目不能用怎么办：在预测试前排掉诱导、双重问题和假精确
问卷题目看得懂，不等于能产生可解释的数据。逐题检查对应构念、单一含义、时间范围、回答选项和实际认知过程，再用目标人群预测试。
收回 486 份问卷，才发现“经常使用”每个人理解得都不一样
学生问‘你是否经常使用 AI 并认为它提高了学习效率？’选项只有“是/否”。有人把每周一次算经常，有人按每天使用判断；认为效率提高但并不经常使用的人不知道选什么。问卷发完后，他既无法区分使用频率和效果判断，也无法解释“是”究竟代表哪一部分。
题项检查的目标不是让句子更好看，而是让不同受访者按相近过程理解、回忆、判断并选择答案。每道题必须对应明确构念和分析用途，一个题只完成一件测量任务；正式发放前还要通过认知访谈和小规模预测试发现研究者自己看不见的歧义。
- 识别诱导、双重、模糊和带前提题项
- 把坏题改成可回答、可编码的版本
- 完成认知访谈和预测试修订记录
题项不能用，通常坏在问题、回忆、判断或选项中的某一层
一个答案同时代表两件事
- 原因
- 双重问题把频率、态度、满意度或结果塞进同一句。
- 怎么改
- 拆成独立题项，每题只对应一个构念和一个分析字段。
所有人都倾向选择正确或体面的答案
- 原因
- 题干带道德评价、权威暗示或明显期望。
- 怎么改
- 使用中性表述，说明没有正确答案；敏感行为给出合理范围和拒答选项。
同一个词有多种理解
- 原因
- 使用‘经常、适量、良好、近期’等无边界词。
- 怎么改
- 给明确时间窗、对象和可观察行为，例如‘过去 7 天使用几天’。
受访者只能猜
- 原因
- 要求回忆过长时间、精确次数或自己不知道的信息。
- 怎么改
- 缩短回忆期、使用类别范围，或改从日志和系统记录获取。
选项选不下去
- 原因
- 选项重叠、不完整、顺序不一致，或把‘不知道’和‘不适用’混在一起。
- 怎么改
- 确保互斥且尽量穷尽，分开拒答、不知道和不适用，并检查跳转逻辑。
把看似自然的题目改成能产生明确字段的题
| 原题 | 主要问题 | 修订示例 | 得到的数据 |
|---|---|---|---|
| 你是否经常使用 AI 并认为它提高效率？ | 双重问题、经常无定义 | 过去 7 天，你有几天在课程作业中使用生成式 AI？0–7 天；另题询问效率变化 | 使用天数与主观效率分别编码 |
| 你是否赞同学校合理且必要的 AI 管理规定？ | 诱导、两个评价维度 | 你对当前课程 AI 使用规则的整体支持程度如何？五级选项；另题问清晰度 | 支持程度与清晰度分开 |
| 你每天使用 AI 多少分钟？ | 可能无法精确回忆 | 昨天你使用生成式 AI 的总时长大约是？0、1–15、16–30、31–60、60 分钟以上 | 有边界的时长类别 |
| 你从不让 AI 代写，对吗？ | 暗示正确答案且施压 | 过去一个月，你是否使用生成式 AI 直接生成过提交内容？从未/1 次/2–3 次/4 次以上/不愿回答 | 带时间窗的敏感行为频次 |
| 你的学习效果很好吗？ | 构念和参照都不清 | 过去四周，你按时完成课程任务的比例大约是？ | 可定义的行为指标，但仍需说明计算方式 |
修订示例只说明题目结构；实际选项、量表和时间窗必须根据研究对象、已有验证工具和分析计划确定。
认知访谈不是问“题目清楚吗”，而是观察受访者怎样得到答案
- 01
从目标人群招募少量多样参与者
覆盖会影响理解和回答的关键差异，例如年级、语言、使用经验或健康状态。目的先找错误，不是估计比例。
- 02
让参与者边答边解释
询问他如何理解关键词、想起了哪些经历、如何在选项中做决定。不要解释正确答案，否则会掩盖题项问题。
- 03
按四个环节记录卡点
分别记录理解、回忆、判断和作答映射的问题，保留原话与题号，不只写‘受访者觉得不清楚’。
- 04
一次只修明确的问题
记录原题、问题证据、修订稿和理由；重大改动后重新访谈，防止修好一个歧义又制造新的前提。
- 05
再做流程预测试
检查完成时长、跳题、必填、随机化、设备显示、缺失和数据导出。认知访谈解决理解，流程预测试解决整份问卷的运行。
每道题都要能追到研究问题和实际测试证据
题项审计记录
问卷修订对照
题号： 对应研究问题： 目标构念或指标： 原题与选项： 问题类型：双重 / 诱导 / 模糊 / 回忆困难 / 选项问题 / 跳题问题 认知访谈证据：参与者原话或行为 修订稿： 修订理由： 是否影响既有量表效度或授权： 下一轮测试结果： 最终状态：保留 / 修改 / 删除 / 待专家确认
使用已有量表时，不能为了更自然随意改词、拆题或更换选项；先核对授权、目标人群版本和验证证据。