展开知识库目录
研究设计怎么检查变量、对照和混杂：先画因果链，再决定模型
研究方案能实施，不等于能回答研究问题。先画清暴露或干预、结局、时间和共同原因，再决定对照、测量和模型中该放哪些变量。
模型里放了 26 个变量，导师却问：你到底想估计什么
学生研究生成式 AI 使用与课程成绩的关系，把问卷里能拿到的年龄、专业、学习投入、AI 使用熟练度、作业完成时间、教师要求和课程难度全部塞进回归模型。他以为控制得越多越严谨，却没有先说明 AI 使用发生在何时、成绩指哪个时间点，也没有区分学习投入是共同原因，还是 AI 使用以后发生的中介。结果模型可以运行，但系数已经无法对应最初的问题。
检查研究设计要先确定目标估计：你想描述分布、比较组间差异、估计关联，还是在明确假设下讨论因果效应。变量角色取决于具体问题和时间顺序，不是变量本身永久固定；先画最小因果链，再决定对照、测量和调整集合。
- 写清主要暴露、结局和目标估计
- 区分混杂、中介和选择变量
- 得到可执行的变量—对照—测量表
变量名相同，放在不同问题里可能承担完全不同的角色
| 角色 | 在当前问题中的判断 | 需要记录 | 常见错误 |
|---|---|---|---|
| 暴露或干预 | 研究者要比较或改变的核心因素 | 定义、剂量、时间、分配或来源 | 只写‘使用 AI’，没有频率、用途和时间窗 |
| 主要结局 | 用来回答核心问题的结果 | 量表或算法、单位、时间点、主要/次要 | 看到结果后才改主要结局 |
| 对照 | 提供反事实或基准比较的组/条件 | 接受什么、如何形成、是否同期 | 把‘无干预’当成什么都没发生 |
| 混杂因素 | 在处理之前同时影响暴露和结局的共同原因 | 理论依据、测量时间和质量 | 见到相关变量就全部调整 |
| 中介 | 位于暴露到结局的作用路径上 | 发生顺序和机制假设 | 想估计总效应却把中介控制掉 |
| 碰撞或选择变量 | 受到两个变量共同影响并被用于筛选或调整 | 纳入、缺失和分析选择过程 | 条件化后人为制造关联 |
用六个问题把设计从一句想法检查到可分析
- 01
定义研究对象和时间零点
谁有机会进入研究，何时开始观察或分配，基线信息在什么时间测量。没有统一时间零点，暴露、结局和纳入条件容易相互倒置。
- 02
只写一个主要目标估计
明确比较谁与谁、结局是什么、时间范围多长、目标人群是谁。描述、预测和因果问题分开，不让一个模型同时承担三种结论。
- 03
画出最小因果图
用箭头写出处理前共同原因、处理、可能中介和结局。每条箭头附领域依据；不确定的关系保留多个候选图，不让软件自动决定因果结构。
- 04
审查对照和纳入过程
检查两组除核心处理外是否接受了不同资源，纳入、失访或完整案例分析是否依据处理后的变量。
- 05
把概念绑定到实际测量
逐项记录来源、单位、工具版本、时间点、编码和误差。无法测量的重要混杂不能用一个相似字段假装替代，应写成局限或调整设计。
- 06
最后才写分析计划
根据设计选择描述、估计和敏感性分析，预先说明缺失、非线性、聚类和重复测量。模型复杂度由问题和数据支持，不由可用字段数量决定。
同一个“学习投入”，调整与否取决于它发生在 AI 使用之前还是之后
可能是混杂
如果原有学习投入同时影响学生是否使用 AI，也影响后续成绩，它可能需要在设计或分析中处理。依据来自问题、时间和领域知识，不是单看相关系数。
可能是中介
如果 AI 使用先改变学习投入，学习投入再影响成绩，控制它会改变你估计的问题。要估计总效应时通常不能把它当普通混杂直接塞进模型。
可能形成选择偏倚
如果只分析‘完成全部作业’的学生，而完成作业同时受 AI 使用和学习表现影响，限制样本可能打开新的非因果关联。
这些判断是因果结构示例，不是对任何真实课程数据的结论。
从“研究 AI 对成绩的影响”改到可执行版本
| 设计字段 | 含糊版本 | 可检查版本 |
|---|---|---|
| 对象 | 大学生 | 同一必修课、学期开始时注册并同意参加的学生 |
| 暴露 | 是否使用 AI | 前 8 周用于课程作业的生成式 AI 使用频次与用途，按预定义规则测量 |
| 结局 | 课程成绩 | 第 8 周统一评分任务得分；评分者不知道暴露分组 |
| 对照 | 不用 AI 的人 | 同一课程同期、暴露定义为零且满足相同纳入条件的学生 |
| 处理前因素 | 能收集的都控制 | 按因果假设预先列基线成绩、学习投入等候选共同原因 |
| 不能声称 | AI 提升或降低成绩 | 观察性设计仍可能有未测混杂，主要报告调整后关联与敏感性分析 |