Excel 与 Python 工具

SQL 取数之后，Excel 做快速探索与业务交付，Python（pandas） 做 repeatable 清洗与自动化。BI 分析师不必成为软件工程师，但要会选工具、会脚本化重复劳动。

学习目标

• 掌握 Excel 数据透视、VLOOKUP/XLOOKUP、条件格式核心用法
• 用 pandas 完成读表、清洗、聚合、导出
• 建立 dbt / Airflow 在分析链路中的位置直觉

核心概念

Excel 分析三板斧

功能	场景
数据透视表	按维度切片汇总 KPI
XLOOKUP / INDEX-MATCH	维表补全、口径对照
条件格式 / 迷你图	异常高亮、趋势一眼看

限制：大表（>100 万行）卡顿、版本难协作、逻辑不透明。一次性探索用 Excel，定期报表上 SQL + BI 平台。

pandas 最小工作流

import pandas as pd

df = pd.read_csv("lesson_completions.csv", parse_dates=["completed_at"])
df = df.dropna(subset=["user_id"])
daily = (
    df.groupby(df["completed_at"].dt.date)
    .agg(completions=("lesson_id", "count"),
         users=("user_id", "nunique"))
    .reset_index()
)
daily.to_csv("daily_completions.csv", index=False)

• groupby + agg 对应 SQL 的 GROUP BY
• merge 对应 JOIN；fillna 处理缺失需谨慎

ETL 工具直觉

Airflow — 何时跑、依赖谁、失败告警（编排）
dbt     — SQL 转换、测试、文档（转换层）
BI 平台 — 可视化与权限（消费层）

分析师常写 dbt 模型中的 mart SQL 或与数据工程师共建；理解分层后，少问「为什么这张表和 Excel 对不上」。

工具选型

• 临时 ad-hoc：Excel 或 Notebook
• 周报自动化：SQL + BI Dashboard
• 复杂清洗 / 多源合并：pandas 脚本 + Git 版本管理

练习

• 用 Excel 透视表按 category 汇总 lesson 数量（可用导出 CSV）
• 写 pandas 脚本：读 CSV，输出每 track 的完课人数
• 画一张图说明 Airflow、dbt、Tableau 在链路中的顺序

小结

Excel 快、Python 稳、dbt/Airflow 保 repeatable；BI 分析师要会三档切换。 下一课把数字变成图表与 Dashboard。