简介：《使用 Python 进行数据分析》是一份系统讲解数据分析流程与 Python 核心库应用的 DOCX 教程文档，面向希望从零开始掌握 NumPy、Pandas、Matplotlib 及探索性数据分析（EDA）的入门读者。文档先梳理数据分析的六个关键步骤（明确要求、收集数据、清洗加工、分析、共享与报告），再按工具逐层展开：在 NumPy 部分，除数组创建、empty/zeros 初始化、索引与切片外，还介绍了数组的秩、形状以及加减乘除算术运算，并说明基础切片返回视图、数组索引返回副本等易混淆概念；Pandas 部分重点讲解 DataFrame 这一二维异质表格结构，用于处理带行列标签的常见数据集；Matplotlib 部分则展示如何绘制出版级别图表，配合统计图与数据挖掘手段完成 EDA，找到变量关系与异常值。资源包仅含 1 个 docx 文件，压缩包大小约 2.05MB，内容紧凑、目录清晰，可作为自学笔记或课程讲义。目前已有 46 人学习下载，适合数据分析初学者、转行者以及希望系统梳理 Python 数据工具链的读者。
1. 用 Python 做数据分析前，先认清"收集、转换、组织"这条主链路
手上拿到一张三万行的销售明细表，老板问下个季度哪个品类会涨，直接打开 Jupyter 就建模的人，多半会在数据质量上翻车。数据分析的产出物不是模型，是决策依据；而依据靠不靠谱，取决于数据在进入算法之前被收集得全不全、转换得干不干净、组织得合不合理。Python 在这条链路里的位置很固定：pandas 负责读数和清洗，numpy 负责向量化计算，matplotlib 负责把结论变成可交付的图，sklearn 负责最后一步规律验证。环境上不需要多复杂，Python 3.9 以上装好 pandas 一套就能开跑。下面按收集、转换、组织、预测的次序展开，每个环节给最小可跑的代码和参数边界。适合刚把 Python 语法过完、准备做第一个数据项目的工程师，也适合看了不少教程但总在真实数据上卡壳的人。
2. 用 Python 收集数据：CSV、Excel 与数据库的读取参数怎么设
收集阶段的目标是把数据完整搬进内存，同时保留原始信息。常见误区是拿到文件就read_csv，编码不对报错再换，类型不对再回头改。多花三分钟把参数定清楚，后面转换阶段能少踩一大片坑。
2.1 最小可跑的 read_csv 命令：编码、类型、日期一次设对
以一份销售明细 CSV 为例：
import pandas as pd df = pd.read_csv( "sales_2024.csv", encoding="utf-8-sig", # 带 BOM 的 Excel 导出文件用这个编码 dtype={"会员ID": str}, # 会员ID 按文本读，不能被转成数值 parse_dates=["下单时间"], # 需要时间分析的列直接解析成 datetime ) print(df.shape) print(df.dtypes) df.head()dtype解决的是"ID 被读成 float"的经典问题：00123这种带前导零的编号不指定类型，会被读成数值 123，信息直接丢失。parse_dates比事后pd.to_datetime更省事，读取阶段就把时间列转成 datetime64，后续按小时、按天聚合不用再转换。encoding用utf-8-sig而不是utf-8，是因为 Windows 下导出的 CSV 常带 BOM 头，直接按 utf-8 读会让第一列列名出现\ufeff前缀，groupby 时对不上列名。
# 大文件不想让分块推断导致类型前后不一致 df_fast = pd.read_csv("large_file.csv", dtype=str, low_memory=False)low_memory容易被忽略。默认情况下 pandas 分块读取并逐块推断类型，同一个列在文件前半段是数字、后半段是空值时，可能被推断成 object。处理脏数据时干脆用dtype=str全部读成字符串，再在转换阶段按需转类型，这是常见的可靠做法。
2.2 读 Excel 多 Sheet 时 skiprows 与 usecols 的配合
Excel 是数据分析里最常碰到的交接格式。一个工作簿里往往有多个 Sheet，读取时先用ExcelFile看一眼结构。
xls = pd.ExcelFile("data_2024.xlsx") print(xls.sheet_names) # 列出所有 Sheet 名 df_sales = pd.read_excel( xls, sheet_name="销售明细", header=0, # 第 0 行是列名 skiprows=2, # 跳过文件头部两行说明文字 usecols="A:F", # 只取需要的列，减少内存 )sheet_name接受整型索引、Sheet 名或名字列表，传列表时返回的是一本字典，键是 Sheet 名。skiprows处理"前几行是合并单元格标题"的常见报表；usecols按 Excel 风格列号或列名列表都行。注意header和skiprows是叠加关系：先执行skiprows，再在剩余数据里定位header，两个都填时要按实际文件结构推算。
| 参数 | 作用 | 推荐设置 |
|---|---|---|
encoding | 文本编码 | 中文数据优先utf-8-sig |
dtype | 指定列类型 | ID、手机号等一律str |
parse_dates | 解析时间列 | 列出参与时间分析的列名 |
skiprows | 跳过前 N 行非数据行 | 按文件实际头部调整 |
usecols | 只读指定列 | 大文件必填，省内存 |
nrows | 只读前 N 行 | 先抽样看结构再全量读 |
2.3 从数据库收集数据：read_sql 与连接串写法
团队数据在 MySQL 或 PostgreSQL 里时，常见做法是用 SQLAlchemy 建连接，再交给 pandas 的read_sql。这一节的关键原则是：不要把整张表拉回来，过滤在 SQL 里先做掉。
from sqlalchemy import create_engine engine = create_engine( "mysql+pymysql://user:pass@localhost:3306/sales_db?charset=utf8mb4" ) df = pd.read_sql( """ SELECT 城市, 品类, SUM(金额) AS 销售额 FROM 订单表 WHERE 下单时间 >= '2024-01-01' GROUP BY 城市, 品类 """, engine, params={"城市": ["上海", "杭州"]}, )read_sql同时接受 SQL 字符串和表名，传表名用read_sql_table更明确。连接串里charset必须和库的实际编码一致，否则中文乱码。params做参数化查询，避免把变量直接拼进 SQL——拼字符串的写法在数据里出现单引号时会直接报错，还有注入风险。数据库侧完成聚合后再进 pandas，内存占用和后续处理速度差异很大。
2.4 数据读进来先做三项断言
数据读进来先做三连检查，而不是急着画图：
assert df.shape[0] > 0, "数据为空" assert df["下单时间"].isna().sum() == 0, "时间列有缺失" assert df["金额"].dtype in ("float64", "int64"), "金额列类型不对"shape告诉你行数和列数是否符合预期；isna().sum()给出每列缺失量的快照；dtypes暴露类型推断错误。这三行写完，进入转换阶段时心里就有底。收集阶段的边界在于：宁可多占一点内存保留原始列，也不要因为"看着没用"提前删列——转换阶段想改口径再找回原数据，成本高得多。
3. 数据转换：用 pandas 完成清洗与特征加工的必调参数
转换阶段处理的都是真实数据里必然出现的脏问题：缺失、类型错乱、格式混用。这一章给三个最常用的操作面，每个都标注参数边界和常见误用。转换的目标不是"让脚本跑通"，而是让每个字段的类型、取值、缺失状态都符合业务约定。
3.1 缺失值处理：dropna 与 fillna 按列决策
# 先看缺失分布，再决定策略 missing = df.isna().sum() print(missing[missing > 0]) # 方案一：删行，限定在关键列上 df = df.dropna(subset=["金额", "下单时间"], how="any") # 方案二：填充，按列给不同策略 df["会员等级"] = df["会员等级"].fillna("普通") df["金额"] = df["金额"].fillna(df["金额"].median())dropna的subset参数限定只在关键列上检查缺失。默认how="any"会把任何一列缺失的行全删掉，不加 subset 时数据量会莫名缩水。fillna的常见误用是对数值列一律填 0——金额列填 0 会制造一批虚假的零销售额，后续所有聚合都被污染。用中位数比均值稳健，因为均值受极端值影响；分类列填"普通"在业务上说得通，但要注意填充值本身会成为分析里的一个类，后续建模时保持一致。
# 时间序列数据：前向填充 df["库存量"] = df["库存量"].ffill()ffill()用前一个有效值填充，适合库存、汇率这类"没有变动就是沿用上一条"的数据。过去老写法fillna(method="ffill")在新版 pandas 里已弃用，直接写ffill()更干净。这里有个隐藏前提：数据必须按时间排过序，否则前向填充会把后一个时间点的值抄到前面的空位上。
3.2 类型转换：字符串、数值与时间的三类坑
# 金额列里混入 '¥1,200' 这种格式 df["金额"] = ( df["金额"] .astype(str) .str.replace("¥", "") .str.replace(",", "") .astype(float) ) # 时间列统一格式解析 df["日期"] = pd.to_datetime(df["日期"], format="%Y-%m-%d", errors="coerce") # 转失败的值变成 NaT，单独隔离出来看 bad_dates = df[df["日期"].isna()]astype(str)先把任何类型统一成字符串，再走str访问器做替换，这是处理"数字里混单位"的标准套路。pd.to_datetime的errors="coerce"是关键参数：解析失败的值变成NaT而不是抛异常中断，脚本不至于整体崩掉，坏数据也能隔离出来。format显式指定格式比自动推断快，也避免2024/01/02和2024-01-02混用时推断错乱。
另一个高频清洗是去空格和统一大小写：
df["品类"] = df["品类"].str.strip().str.lower()strip去首尾空格，lower统一小写。"手机"和" 手机 "看起来一样，groupby 时会被分成两组，这类问题不提前清理，组织阶段得出的汇总数字全是错的。
3.3 用 map、cut 与 apply 做特征加工
转换不只是清洗，还包括把原始字段变成分析可用的新特征。
# map：字典映射，分类文本转数值标签 df["是否高价值"] = df["会员等级"].map( {"金卡": 1, "银卡": 1, "普通": 0} ) # cut：连续值分箱 df["金额区间"] = pd.cut( df["金额"], bins=[0, 100, 500, 1000, float("inf")], labels=["低", "中", "高", "极高"], right=True, ) # apply 逐行计算：大数据集尽量少用 df["客单价"] = df.apply( lambda r: round(r["金额"] / r["件数"], 2) if r["件数"] > 0 else 0, axis=1, )map适合字典映射，把分类文本转成数值。pd.cut做等宽分箱，bins是切分边界，labels给每个区间命名，right=True表示区间左开右闭，即 100 这个值会被分到第二个区间。apply带axis=1是逐行跑 Python 循环，速度最慢，几十万行就能感到卡顿；能向量化就向量化，上面的客单价可以直接写df["金额"] / df["件数"].replace(0, np.nan)，速度快一个量级。
| 操作 | 适用场景 | 常见误用 |
|---|---|---|
dropna | 关键列缺失直接删行 | 不加 subset 删掉大量有效行 |
fillna(0) | 缺失本身有业务语义 | 对金额、销量填 0 制造假数据 |
str.replace | 清理混入的符号 | 忘记先astype(str)导致报错 |
pd.cut | 数值分箱 | 边界没考虑等频需求 |
apply(axis=1) | 复杂逐行逻辑 | 大数据集上性能灾难 |
提示：
inplace=True尽量别用。它直接在原对象上修改，链式操作时容易触发 SettingWithCopyWarning，还难以调试。统一用df = df.操作(...)的重新赋值写法，排查问题省一半时间。
4. 用 pandas 组织数据：groupby、透视表与重采样怎么配合
组织阶段把清洗好的明细数据，聚合成能回答业务问题的视图，比如"各品类月度销售趋势""各城市客单价对比"。pandas 里对应三个主力工具：groupby、pivot_table、resample。这一章的重点不是罗列函数，而是说明三个工具各自解决哪类组织问题、以及它们之间怎么衔接。
4.1 groupby 聚合：分组键与 agg 的写法
# 按城市和品类统计销售额、订单量、客单价 summary = ( df.groupby(["城市", "品类"], as_index=False) .agg( 销售额=("金额", "sum"), 订单量=("订单号", "nunique"), 客单价=("金额", "mean"), ) .sort_values("销售额", ascending=False) )groupby传入的列表是分组键，决定聚合粒度。as_index=False让分组键作为普通列保留而不是变成索引，后续 join 其他表更顺。agg接收一批新列名=(原列名, 聚合函数)的元组，这种写法比老的{"金额": "sum"}可读性好，也支持同一列做多种聚合——把元组换成列表即可。nunique统计不重复订单号来算订单量，比count准确，因为count会把同一订单的多行明细都数进去。
4.2 pivot_table 与 melt：宽表和长表互转
透视表的典型场景：行是品类，列是月份，值是销售额。
# 宽表：行=品类，列=月份 pivot = pd.pivot_table( df, index="品类", columns="月份", values="金额", aggfunc="sum", fill_value=0, ) # 转回长表，便于绘图 tidy = pivot.reset_index().melt( id_vars="品类", var_name="月份", value_name="销售额", )pivot_table的index是行维度，columns是列维度，values和aggfunc决定单元格怎么算。fill_value=0把没有数据的交叉格填 0，否则会留下一大片 NaN。melt是逆透视，把宽表压成长表，seaborn 和大多数绘图接口偏好长表。注意pivot_table和pivot的区别：pivot要求数据里没有重复的(index, columns)组合，否则直接抛错；pivot_table会自动聚合，日常分析里优先用pivot_table。
4.3 resample：按时间窗口组织数据
时间序列数据按周、按月聚合，别用 groupby 加月份字符串拼，直接用resample。
# 时间列转成索引是 resample 的前提 df["下单时间"] = pd.to_datetime(df["下单时间"]) df_ts = df.set_index("下单时间") monthly = ( df_ts["金额"] .resample("ME") # ME = 月末，旧版写 'M' .agg(["sum", "count", "mean"]) .reset_index() )set_index先把时间列设成索引。频率字符串里ME是月末，MS是月初，W-MON以每周一为锚点，QE是季度末，D是自然日。日常九成用ME和W-MON就够。resample后可以接任意聚合函数，也能接agg批量算多个统计量。ME出的时间戳是每月最后一天，画折线图前想清楚 x 轴标签显示月末还是月初。
| 频率串 | 含义 | 典型用途 |
|---|---|---|
D | 自然日 | 日粒度监控 |
W-MON | 每周一为锚点 | 周报口径 |
ME | 月末最后一天 | 月度汇总 |
MS | 月初第一天 | 月度起点对齐 |
QE | 季度末 | 季报 |
# 环比计算：pct_change 的 periods 与频率对齐 monthly["环比"] = monthly["sum"].pct_change(periods=1)pct_change的periods要和数据频率对应：月数据看同比用 12，周数据看周环比用 1。这个计算经常写错，因为默认只隔一行。真实业务里还有春节、大促这类外部因素，纯看环比数字可能得出错误结论——组织阶段把数据聚合对了，解释结论时还需要业务知识兜底。
提示：groupby 之后只需要一两列结果时，先
df[["城市", "金额"]]选出子集再聚合，内存和速度都有改善。
5. 从组织好的数据到预测结论：Python 回归验证与交付前检查
组织好的数据要支撑数据驱动决策，就得把"某几个因素和结果相关"这个判断量化成可验证的结论。完整建模不在这次范围内，但有一个必须会的最小验证流程：切分数据、拟合线性回归、看误差和残差。
5.1 train_test_split 的随机种子是第一个参数
from sklearn.model_selection import train_test_split X = monthly[["类别A占比", "流量", "价格指数"]] y = monthly["销售额"] X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.3, random_state=42, shuffle=True )test_size=0.3留三成数据做验证；random_state=42固定随机种子，保证每次划分一致。换了种子结果对不上，很难判断是数据问题还是划分问题，这个参数在调试和协作里都重要。时间序列预测时shuffle=True是错的，会泄露未来信息到训练集，此时应shuffle=False按时间顺序切分。
5.2 用线性回归验证特征与目标的关系强度
from sklearn.linear_model import LinearRegression from sklearn.metrics import r2_score, mean_absolute_error model = LinearRegression() model.fit(X_train, y_train) y_pred = model.predict(X_test) print("R2:", r2_score(y_test, y_pred)) print("MAE:", mean_absolute_error(y_test, y_pred)) print("系数:", dict(zip(X.columns, model.coef_)))fit在训练集上学习系数，predict在测试集上给出预测。r2_score衡量模型解释了多少方差，接近 1 越好；mean_absolute_error给出平均误差，单位是业务单位，比 R2 直观——销售额平均差 8 万，老板立刻知道误差量级。model.coef_是每个特征的权重，绝对值大说明影响强，正负号说明方向。注意这一步验证的是相关性不是因果性，系数显著不等于控制变量改变就一定导致目标变化。
5.3 交付前的五分钟自检代码
结果交给别人之前，按固定顺序跑一遍这三段：
# 1) 数据口径自检：行数、日期范围、缺失量 print(df.shape, df["下单时间"].min(), df["下单时间"].max()) print(df.isna().sum()[df.isna().sum() > 0]) # 2) 与上一期数字对比，偏差超过 10% 要查原因 current_total = monthly["sum"].sum() previous_total = 1234567 # 替换为上一期已知数字 assert abs(current_total - previous_total) / previous_total < 0.1 # 3) 残差散点图：看误差是否集中在某个方向 import matplotlib.pyplot as plt residual = y_test - y_pred plt.scatter(y_pred, residual, alpha=0.5) plt.axhline(0, color="red", linestyle="--") plt.xlabel("预测值") plt.ylabel("残差")第三条残差图最容易被跳过：残差在预测值大的位置系统性为正或为负，说明模型漏掉了某个规律，这时候回第 3 章查特征转换，而不是继续调模型参数。口径、样本区间、特征列表要写进输出文件的注释头，比任何口头说明都可靠。从read_csv开始，到这张残差图结束，整条链路每一步都是可复现的命令，换一台机器重跑得到同一份数字，交付才算真正完成。
本文还有配套的精品资源，点击获取
