简介：从Python语言特性出发，这份PDF为数据分析与可视化初学者提供了清晰的学习路径。内容在介绍易学、解释型、动态类型等语言特点后，系统梳理了两大工具链：数据分析侧包含Pandas（数据清洗与聚合）、NumPy（数值计算）、SciPy（科学计算）和StatsModels（统计建模）；可视化侧覆盖Matplotlib（基础绘图）、Seaborn（统计图表）、Plotly与Bokeh（交互式图形）及Cufflinks（接口简化）。文中更以read_csv读取数据、mean计算均值、plt.bar绘制条形图为例，完整演示了从数据导入到图表展示的过程，可直接迁移到实际项目里。压缩包为单个PDF文档，大小仅114KB，知识模块独立且便于零散时间阅读，电脑或手机上都可随时查阅。目前已有1848人学习，非常适合作为开启数据分析项目前的知识地图，也能帮助读者减少选型与排错时间，快速产出专业图表或进行初步数据探索。
1. Python数据分析与可视化：为什么跟教程敲完代码，图表还是没法用
花了两周时间把pandas和matplotlib的语法背得滚瓜烂熟，拿到一份真实业务数据后依然不知道从哪下手，这是python数据分析与可视化这条路上最常见的卡点。数据是乱的：日期读进来变成字符串，订单号被科学计数法吞掉精度，两个表关联怎么都对不上；好不容易画出一张图，中文坐标轴全是方框，时间轴上的点按字母顺序排列成诡异曲线。问题不在你不够努力，而在大多数教程把数据准备、指标计算和画图拆成了三条独立的学习路线，实战时你得把它们当作一条流水线整体配合。
我的核心建议是：将可视化当作一种数据检查手段，而不是最后一步的美化工作。一张图能不能讲清业务问题，在数据加载和聚合阶段就已经决定了七八成；喂给绘图函数的DataFrame是干净且结构正确的，哪怕调用不熟练，图也不会翻车得太离谱。这篇笔记按“加载清洗 → 分组聚合 → 绘图 → 避坑 → 进阶”的顺序展开，适合准备做数据分析的开发者、被Excel透视表逼到墙角的运营与产品同学，以及想给日常报表引入Python环节的工程师。不需要大型集群，一台电脑、一个Python环境加两三份样例数据，就能把整条链路完整跑通。
2. 数据加载与清洗：地基歪了，后面全是花架子
2.1 读文件前先确认三件事：编码、列类型、日期解析
很多人拿到CSV就一把梭，pd.read_csv("data.csv")跑通后立刻开始画图，结果图表里出现大量异常值、时间排序错乱、join结果莫名其妙。真正动手时，我一般会在读文件这一步就压住三个参数：编码encoding、列类型dtype、日期解析parse_dates。
import pandas as pd df = pd.read_csv( "sales_2024.csv", encoding="utf-8", # Windows导出的CSV常为gbk，报错后改utf-8-sig dtype={"order_id": str}, # 长订单号按文本读，避免转成浮点丢精度 parse_dates=["order_date"], # 日期列在读取阶段直接解析成datetime )encoding决定用哪种编码解读文件里的字节，读错会直接抛UnicodeDecodeError，此时把编码换成gbk或utf-8-sig基本能解决；dtype接收一个字典，只对列名命中的列强制指定类型，适合订单号、身份证号这类长度超过16位的数字；parse_dates可以传列名或列名列表，把它解析成datetime类型后，后续的dt访问器和按时间分组才具备操作前提。
除了CSV，业务数据经常落在Excel和数据库里：read_excel需要另装openpyxl库，read_sql则要求先建好SQLAlchemy引擎。代码里的逻辑与CSV保持一致——族长数字列仍要指定为字符串，日期列尽早在读取阶段转类型，能省掉一整轮清洗工作。
import pandas as pd df_excel = pd.read_excel( "仓库数据_2024.xlsx", sheet_name="月度汇总", # 默认读第一个sheet，这里显式指定 skiprows=2, # 跳过前两行混合标题和备注 dtype={"sku_id": str}, ) from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://user:pass@localhost:3306/orders_db") df_sql = pd.read_sql( "SELECT order_date, region, amount, quantity FROM orders WHERE pay_status = 1", con=engine, parse_dates=["order_date"], )read_excel的sheet_name参数省去读多个工作表时的循环切片，skiprows跳过Excel里常见的表头合并单元格和说明行；read_sql直接把查询结果灌进DataFrame，比手动导出CSV再读取更不容易引入中间态编码问题。注意create_engine要另装pymysql或psycopg2等驱动，连接串格式按数据库类型略有差异。
2.2 清洗三件套：缺失值、重复值与异常值
数据读进来后的第一轮清洗，我把它压缩成三件事：缺失值、重复值、异常值。顺序不能乱——先处理缺失，再去重，最后过滤异常。每步操作都要先看一眼影响范围，切忌上来就df.dropna(inplace=True)一把梭。
# 1) 缺失值：先看分布，再决定删还是填 print(df.isna().sum()) # 逐列统计缺失数量 df = df.dropna(subset=["order_date"]) # 日期缺失无法补，直接删行 df["amount"] = df["amount"].fillna(0) # 金额缺失，按业务规则填0 df["quantity"] = df["quantity"].ffill() # 数量用前向填充，适合时序数据 # 2) 重复值：按订单维度去重，保留第一次出现的记录 df = df.drop_duplicates(subset=["order_id"], keep="first") # 3) 异常值：用1%和99%分位数夹逼，而不是凭感觉定死阈值 lo = df["amount"].quantile(0.01) hi = df["amount"].quantile(0.99) df = df[(df["amount"] >= lo) & (df["amount"] <= hi)] print(df.shape) # 清洗结束后务必看一次行列数量变化dropna里的subset只检查指定列，避免因为其他列偶尔为空而误删关键记录；fillna(0)适合金额、数量这种缺失即视为不存在的字段；ffill()是前向填充，最近一条有效值向后补齐，适合时间序列的连续缺口。drop_duplicates的subset定义“怎么算重复”，keep="first"保留第一条，日志类数据建议保留first，流水号类数据则要业务确认。
异常值过滤用分位数而不是硬编码阈值，是因为真实业务数据大多有厚尾，例如大促当天的销售额本身就该是平日的十倍，拍一个3000元上限会把真实峰值杀掉。quantile(0.01)和quantile(0.99)的效果相当于剪掉两端尾部，具体分位点可根据数据量调整。务必先打印lo和hi，看看边界是否合理，再执行过滤。
2.3 用四个内置函数摸清数据底细
清洗前我总会执行这四个探针型函数，把数据“摸”一遍。它们不修改数据，只负责暴露问题，属于按下去立刻有反馈的探索工具。
print(df.shape) # (行数, 列数)，一眼确认数据量级 print(df.info()) # 列名、非空数量、类型，类型错乱在这里暴露 print(df.describe()) # 数值列的均值、分位数、min/max，发现不合理边界 print(df.head(10)) # 查看前10行实际数据长相df.shape返回元组，如果读进来只有几十行，说明read_csv的参数或文件路径可能有问题；df.info()输出的Dtypes列很关键，凡是业务上该是日期的列显示为object，就该返回2.1节补上解析逻辑；describe()对数值列自动计算统计量，min或max与业务常识严重偏离时，说明读入的数据混入了脏值；head(10)看的是真实数据长相——列名是否带空格、数字里是否嵌逗号、日期是否混格式，这些问题只有肉眼看一遍才够直观。
这轮摸底的产出是一张“数据质量清单”：哪些列要补缺失、哪些列类型错了、哪些值超出业务范围。带着这张清单进入下一步聚合计算，结构化的数据才经得起后续的透视和绘图操作。
3. 分组聚合与透视表：把明细数据变成指标矩阵的三种写法
3.1 groupby与agg组合：一行算出一组指标
明细数据一行一行铺开是没法讲问题的，分析的第一步通常是把行记录压缩成按维度聚合的指标。groupby负责拆组，agg负责对每组执行一组函数，两者组合起来能一次算出总额、均值、去重客户数等多个指标，而不必写循环。
# 按区域聚合，一次算出四个指标 region_stats = df.groupby("region").agg( total_amount=("amount", "sum"), avg_amount=("amount", "mean"), order_count=("quantity", "count"), customer_count=("customer_id", "nunique"), ).reset_index() print(region_stats.sort_values("total_amount", ascending=False))agg括号里的元组写法是常见惯例：冒号左侧是新列名，右侧元组第一个元素是源列名，第二个是聚合函数名。sum和mean作用于数值列，count对非空值计数，nunique是去重计数——统计“有多少个不重复客户”时务必用它，用count会把同一客户多次下单也算进去。reset_index()把分组用的region从索引位置放回普通列，方便后续直接merge或绘图时引用。
sort_values("total_amount", ascending=False)把结果按总金额降序排列，排序后的DataFrame直接print，前几名区域谁高谁低一目了然。这张表就是后续画条形图、制作Top榜的原材料。
3.2 时间分组：按年和月切数据，别让日期卡住你
时间序列是数据分析里最常踩的类型陷阱。若order_date还是字符串，groupby只会按字母序排列月份，10月会排在2月前面。正确做法是先通过2.1节的parse_dates或pd.to_datetime保证列的类型是datetime，再生成周期标签。
# 生成“年-月”周期列 df["year_month"] = df["order_date"].dt.to_period("M") # 按年月+区域二维分组，保留分组列为普通列 monthly_region = df.groupby( ["year_month", "region"], as_index=False )["amount"].sum() print(monthly_region.head())dt.to_period("M")是datetime类型的访问器方法，M表示按月切分；若需要按周、按季度，替换成"W"或"Q"即可。groupby接收列名列表，即按年月和区域双重维度拆分，as_index=False让两个分组列保留成普通列，省去之后每次reset_index()的重复操作。
这步产出的monthly_region是画趋势图的直接输入。务必看一下year_month列的输出格式——Period类型虽然适合分组，但matplotlib画图时可能要求转成字符串或时间戳，这个转换会在第4章遇到。
3.3 pivot_table与crosstab：把长表摊平成对比矩阵
groupby的结果是长表——每个分组一行。看数据时宽表更直观：行是维度，列是另一个维度，交叉点是指标值。pivot_table干的就是这件事，它是Excel透视表在pandas中的等价物。
# 行=区域，列=年月，值=销售额，聚合后空值填0 pivot = pd.pivot_table( df, values="amount", index="region", columns="year_month", aggfunc="sum", fill_value=0, ) # 区域×支付方式的交叉表，按行归一化成占比 cross = pd.crosstab( index=df["region"], columns=df["pay_method"], values=df["amount"], aggfunc="sum", normalize="index", )pivot_table的参数逻辑是：index决定行维度，columns决定列维度，values是被聚合的值列，aggfunc决定怎么聚合。fill_value=0把没有数据组合的空洞填成0，避免热力图或柱状图渲染时出现NaN缺口。crosstab适合两个离散维度交叉，normalize="index"按行归一化，每行加起来是1，输出变成占比矩阵，特别适合看“各区域支付方式偏好”。
实际选型时记住一句话：后续还要继续计算，用groupby维持长表；后续要做横向对比或直接喂给热力图，用pivot_table换成宽表。长格式和宽格式的转换，也是pivot和melt相互切换的基础，掌握这两个方向能应对绝大多数表格形态问题。
4. matplotlib与seaborn画图：先定画布，再谈美观
4.1 画布与坐标系：fig和ax到底在说什么
大多数教程会用plt.plot(x, y)演示单图表，看起来没问题，一旦画子图、双坐标轴或自定义刻度就抓瞎。原因是plt.plot走的是matplotlib的全局隐式状态机，所有操作都挂在同一个看不见的画布上。正式项目中应直接创建画布fig和坐标系ax，后续所有绘图动作显式发生在ax上。
import matplotlib.pyplot as plt fig, ax = plt.subplots(figsize=(10, 5)) # 创建画布和坐标系 # 先按年月排序，再取华东区域的数据 east = monthly_region[monthly_region["region"] == "华东"].sort_values("year_month") ax.plot( east["year_month"].astype(str), # Period转字符串，避免绘图报错 east["amount"], marker="o", linewidth=2, label="华东", ) ax.set_title("华东月度销售额趋势") ax.set_xlabel("月份") ax.set_ylabel("销售额（元）") ax.legend() ax.grid(True, linestyle="--", alpha=0.4) plt.show()plt.subplots(figsize=(10, 5))返回两个对象的元组：fig是整张画布，ax是画布上的坐标系。ax.plot把折线画到这个坐标系上，ax.set_title、ax.set_xlabel等系列方法都显式作用于该坐标系，多个子图各自独立互不污染。east["year_month"].astype(str)这步值得注意——Period类型在旧版本matplotlib里可能报ValueError，先转成字符串最保险。
单图表这么做看似多写两行，收益在后半程：要加第二个子图时，改成plt.subplots(1, 2, figsize=(14, 5))即可；要加双坐标轴时，基于ax再创建ax2即可。一开始养成显式fig/ax的习惯，后面所有进阶操作都会顺畅很多。
4.2 seaborn统计图：箱线图、密度图和热力图的正确姿势
seaborn是建立在matplotlib之上的统计绘图库，最大的好处是直接接收DataFrame和列名，省去手动拆数组的步骤。它擅长三类图：看单个变量分布的kdeplot和histplot，看分组对比的boxplot，看多变量相关性的heatmap。
import seaborn as sns # 箱线图：比较各区域金额分布，顺带暴露离群点 sns.boxplot(data=df, x="region", y="amount") plt.xticks(rotation=45) # 密度图：按支付方式拆分，看金额分布形态 sns.kdeplot(data=df, x="amount", hue="pay_method", fill=True, alpha=0.3) # 热力图：多个数值列的相关系数矩阵 corr = df[["amount", "quantity", "discount", "unit_price"]].corr() sns.heatmap(corr, annot=True, fmt=".2f", cmap="RdBu_r", center=0)boxplot的数据传参方式与matplotlib完全不同：不传x和y数组，而是传整个DataFrame加上列名，seaborn内部自动完成分组统计；kdeplot里的hue参数指定另一个离散列，自动按支付方式拆分并着色，fill=True填充密度曲线下方区域，alpha控制透明度避免重叠部分完全遮死；corr()先计算出相关系数矩阵，heatmap的annot=True在格子里显示数字，fmt=".2f"保留两位小数，center=0让颜色以零为中心对称过渡。
在选图形时我的取舍标准很简单：看单变量分布用直方图或密度图，看分组对比用箱线图或小提琴图，看两个连续变量关系用散点图，看多变量相关性只用热力图。下表可以直接照抄。
| 分析目标 | 推荐图型 | 关键参数 |
|---|---|---|
| 单变量分布 | kdeplot / histplot | hue拆分对比 |
| 分组对比 | boxplot | x放分组列，y放数值列 |
| 相关性 | heatmap | annot=True显示相关系数 |
| 时间趋势 | lineplot | marker="o"标数据点 |
4.3 双Y轴与子图：让两个量纲在同一张图上对比
业务报表常常要同时呈现两个量纲差异巨大的指标：销售额是几百万级别，订单数是几百级别，画在同一坐标系里订单数会被压成一条贴底直线。双Y轴是解决这类问题的标配方案。
monthly = df.groupby("year_month", as_index=False).agg( total_amount=("amount", "sum"), order_count=("quantity", "count"), ) fig, ax1 = plt.subplots(figsize=(12, 5)) ax2 = ax1.twinx() # 创建共享X轴的第二Y轴 ax1.bar(monthly["year_month"].astype(str), monthly["total_amount"], alpha=0.5, label="销售额") ax2.plot(monthly["year_month"].astype(str), monthly["order_count"], color="tomato", marker="o", label="订单数") ax1.set_ylabel("销售额（元）") ax2.set_ylabel("订单数") ax1.legend(loc="upper left") ax2.legend(loc="upper right")ax1.twinx()基于ax1创建第二个坐标系，共享底部的X轴，拥有独立的右侧Y轴。左侧柱状图跟销售额，右侧折线图跟订单数，两套刻度互不干扰。图例分开设置，loc分别放到左上和右上，避免重叠。反之如果需要共享Y轴但X轴不同，用twiny()。
这种双Y轴图最容易出现的误导是：两侧刻度的零点不重合，看起来销售额和订单数的起伏同步，实际比例关系可能被拉平或夸大。使用时务必在图注里说明左侧和右侧分别代表什么。
4.4 导出图片：清晰度的三个关键参数
画图最后一步是导出。很多人在Jupyter里看效果觉得不错，插入Word或汇报PPT后糊成一团，问题几乎都出在保存参数上。
fig.savefig( "sales_trend.png", dpi=300, # 打印/投影清晰度门槛 bbox_inches="tight", # 裁掉周围多余白边 facecolor="white", # 避免透明背景在PPT深色主题下翻车 )dpi=300是清晰度关键，屏幕显示用96-150就够，打印或大屏投影建议300起步；bbox_inches="tight"自动计算内容边界并裁剪空白，导出的图片四周不会出现大片留白；facecolor="white"把画布背景固化为白色，否则在有透明背景的PPT模板里，图表的白色坐标轴和透明底板会显得很突兀。导出后务必打开图片确认一遍中文是否显示正常——这直接关联到下一章的避坑内容。
5. 避坑：数据分析可视化最常见的5个翻车现场
5.1 matplotlib中文变方块，负号变成缺字符
现象：标题、坐标轴标签只要是中文，显示出来全是空心方块；坐标轴上的负号变成一个不伦不类的短线。自己在Jupyter里盯着代码看毫无问题，但在别人电脑上打开图片就翻车。
原因：matplotlib默认字体列表中不包含中文字形，渲染中文时找不到对应字形就画成占位方块；负号使用的是特殊数学字体，默认配置下与中文字体的字形不兼容。
解决：通过rcParams显式指定字体，并关闭负号的特殊字形：
import matplotlib.pyplot as plt # SimHei在Windows可用；macOS换成PingFang SC，Linux换成WenQuanYi Zen Hei plt.rcParams["font.sans-serif"] = ["SimHei"] plt.rcParams["axes.unicode_minus"] = False这段配置要放在任何绘图代码之前，建议集中放在项目入口或专门的配置模块中，不要每张图前都写一遍。axes.unicode_minus设为False后，负号就用普通连字符渲染，不会再出现缺字形问题。注意如果用了seaborn.set_theme()，它会重置一部分样式，应在它之后再设置rcParams。
5.2 SettingWithCopyWarning反复出现，赋值结果时灵时不灵
现象：对一个DataFrame做条件筛选后直接赋值，例如df[df["amount"]>100]["tag"]="high"，控制台弹出SettingWithCopyWarning。赋值有时生效，有时完全不生效，代码逻辑看不出问题。
原因：链式赋值在等号左边执行了两次索引操作，第一次选出视图像，第二次对该视图做赋值。pandas无法确定你意图修改原DataFrame还是临时副本，就发出警告；实际执行结果取决于内部视图是引用还是拷贝，碰运气。
解决：要么先显式复制再操作，要么用loc一步到位写入原表。
# 方案一：筛选后copy，保证操作的是独立数据 df_filtered = df[df["amount"] > 100].copy() df_filtered["tag"] = "high" # 方案二：loc定位后原地修改原表 df.loc[df["amount"] > 100, "tag"] = "high"先.copy()能斩断与原DataFrame的视图关系，后面怎么赋值都不会影响原表；loc写法把行条件和列名写在一行，清晰表达“筛选行、写入列”的意图。作为习惯，只要对筛选结果要新增列或改值，一律使用loc，警告基本不会出现。
5.3 read_csv把长数字读成科学计数法，关联账全对不上
现象：订单号、身份证号这类超出十位的数字，读取后显示成6.301939e+18，打印出来连末尾几位都看不清。拿这个DataFrame去关联另一个表，明明在Excel里看起来一样的订单号，SQL里却匹配不上。
原因：read_csv默认对纯数字列做类型推断，发现全是数字就自动转成int64；当数值超过2的53次方（约9千万亿），pandas为保留性能会把该列转成float64，长整型精度在转换中丢失，后面的数字变成近似值或科学计数法。
解决：必须在读文件阶段用dtype把长数字列指定为字符串，事后转换救不回来。
df = pd.read_csv("orders.csv", dtype={"order_id": str})如果数据已经读进来了，df["order_id"]=df["order_id"].astype(str)只能把浮点数转换为带科学计数法的字符串，丢失的低位数字无法恢复。唯一后悔药就是回到读取参数，指定该列以文本形式解析。关联数据表时，两边都用字符串比较，才不会再出现账对不上的问题。
5.4 日期列看起来是日期，实际是字符串，趋势图全乱套
现象：从Excel导出的数据里，order_date列肉眼看着就是2024-01-15这种标准日期。画月度趋势图时，X轴上的月份排成了1月、10月、11月、12月、2月……折线来回乱跳。
原因：Excel导出CSV后日期列被当成普通文本，read_csv未指定parse_dates时它保持为object（字符串）类型。字符串排序是字典序，“10月”自然排在“2月”前面。
解决：清洗阶段统一用pd.to_datetime做显式转换，并指定格式提升解析速度。
df["order_date"] = pd.to_datetime(df["order_date"], format="%Y-%m-%d") # 若格式不统一，用errors="coerce"把解析失败的行置为NaT再排查 df["order_date"] = pd.to_datetime(df["order_date"], errors="coerce")format="%Y-%m-%d"是四位数年份、两位数月份、两位数日期的模板，显式给格式后解析更快，还能避开欧美日期顺序的歧义。errors="coerce"把无法解析的值统一变更为NaT，随后用df[df["order_date"].isna()]定位哪些行格式异常，检查是数据源混入了别的日期格式还是脏数据。
5.5 多个筛选条件用and连接，直接抛ValueError
现象：df[(df["amount"]>100) and (df["region"]=="华东")]执行后报ValueError: The truth value of a Series is ambiguous。代码看起来完全符合Python语法，怎么就跑不通？
原因：pandas的条件筛选产生的是布尔Series，而Python的and关键字要求对单个布尔值做判断；df["amount"]>100返回的Series有多个元素，Python无法决定“整个Series是真是假”，只能抛错。数组元素级的逻辑组合，要用位运算符&（且）和|（或）。
解决：用&替代and，并且给每个条件套上括号。
df = df[(df["amount"] > 100) & (df["region"] == "华东")] # ^ ^ ^ ^ # 每个条件独立成组，&连接，优先级不会被比较运算符抢走括号不能省：Python中比较运算符优先级高于位运算符，不套括号会先执行>再执行&，结果和期望完全不同。取反条件用~，例如df[~(df["region"]=="华东")]。这三件事记住了，多条件筛选就能一次性写对。
6. 进阶技巧：样式统一、封装画图函数与交付检查
6.1 用rcParams集中管理全局样式
项目里图表风格不一致，是返工的高频原因。处理方法是建一个chart_config.py，把所有样式参数集中放好，任何脚本导入即可。
import matplotlib as mpl mpl.rcParams.update({ "figure.facecolor": "white", "axes.edgecolor": "#cccccc", "axes.grid": True, "grid.linestyle": "--", "grid.alpha": 0.4, "font.sans-serif": ["SimHei"], # 换成你系统里的中文字体 "axes.unicode_minus": False, })集中配置后，各脚本画图前只要import chart_config，颜色、网格、字体全项目统一，新同事接手也不用一行行去猜别人图表的字号哪里设置的。
6.2 把一张图封装成一个函数
重复的画图逻辑应该收进函数，参数只暴露数据和保存路径。分析层调用时代码干净，改动图表样式时也只需要改一处。
def plot_sales_trend(df, save_path=None): monthly = df.groupby(df["order_date"].dt.to_period("M"))["amount"].sum() fig, ax = plt.subplots(figsize=(12, 5)) ax.plot(monthly.index.to_timestamp(), monthly.values, marker="o") ax.set_title("月度销售趋势") ax.set_xlabel("月份") ax.set_ylabel("销售额") if save_path: fig.savefig(save_path, dpi=300, bbox_inches="tight") return fig, ax函数内部分工明确：第一行完成聚合，中间五行完成绘图，末尾按需保存并返回画布对象。return fig, ax保留扩展能力，调用方需要加辅助线或标注时可以继续操作坐标系。
6.3 交付前检查的三个问题
图表交付前，我会固定过三关：把图调成黑白打印模式看信息是否还完整；把标题和坐标轴拿给不看数据的人看是否语言通顺；检查Y轴起点是否故意截断夸大趋势。这三关都过了，图才算真正可交付。
这几年带过的分析项目，返工最频繁的几乎都栽在加载与清洗阶段，把脏数据直接喂给可视化函数，后面调整字体、换配色都是治标。现在我的习惯是：每张图能成立，首先问DataFrame干不干净，其次才问函数调用对不对。这个习惯帮我少走了很多弯路，希望帮到你。
本文还有配套的精品资源，点击获取
