实验设计

数据科学的价值在于改变业务结果，而不仅是离线指标。A/B 测试与因果推断是把分析变成产品决策的桥梁。本课扩展 ai-data-scientist 路线图中的实验思维（与 ux-design-essentials 的 A/B 课对照）。

学习目标

• 设计可执行的 A/B 实验：假设、指标、样本量、停止规则
• 区分相关、预测与因果三类问题
• 定义 North Star 与 guardrail 指标
• 避免 peeking、多重比较等常见统计陷阱

核心概念

实验设计模板：

字段	示例（CodeRoadMap）
假设 H0/H1	H0: 新推荐排序不提升 7 日完课率
主指标	7-day course completion rate
Guardrail	退订率、页面加载 P95
单元	user_id（避免同一用户进两组）
样本量	功效 80%、α=0.05 → 估算 N
周期	至少覆盖一个完整学习周

Peeking 问题： 每天看 p 值并提前停止，会膨胀 I 类错误。应预先写清「运行 14 天或达到 N 再决策」。

因果推断备选：当无法随机化时，考虑 diff-in-diff、倾向得分匹配（了解即可，深入见计量课程）。

示例

实验名: track-recommend-v2
Treatment: 按路线图缺口推荐下一课
Control: 按注册顺序列表
Randomization: hash(user_id) % 2
Duration: 14 days
Analysis: 意图处理 ITT，缺失用既定规则
Decision: 主指标 +95% CI 下限 > 0 且 guardrail 无回归 → 全量

分析脚本应固定版本：experiments/track-rec-v2/analysis.ipynb，与产品 PR 链接。

练习

• 为你熟悉的一个产品功能写 1 页实验计划
• 估算所需样本量（可用在线 calculator）
• 列出 2 个可能破坏实验有效性的因素

小结

好的实验在开始前就写清「怎样算成功」。 下一课学习如何把结果讲给非技术干系人。