Python爬虫实战：从HTML到结构化数据的清洗与落地-平芜编程栈

做数据采集的时候，真正花时间的往往不是“把网页请求下来”这一步，而是请求下来之后，那堆混合着 HTML 标签、空格、换行、单位符号的原始字符串，怎么变成一张能直接交给 pandas、Excel 或数据库的规整表格。这篇内容属于 Python 小爬虫系列的第三篇，目标是用一段可以完整复现的代码，把数据采集与数据处理这条链路跑通：构造请求、解析页面、提取字段、清洗数据、落地成文件。学完这个最小闭环，后面再遇到列表页、详情页、分页采集和增量更新，都能在这个基础上扩展。

很多初学者只写到“打印出 title 和 price”就停住了，结果换一个网站、多几条脏数据，代码就崩。真正的工程化爬虫不是把数据抓下来，而是把抓下来的数据变成可信赖的数据资产。所以这一篇会重点讲三件事：怎么用 requests 和 BeautifulSoup 稳定提取字段；怎么用 pandas 做清洗、去重和类型转换；怎么把结果输出成 CSV 和 Excel。同时会说明本地测试页、分页处理、日志与断点续采、常见报错排查，以及生产环境中必须补齐的部分。

1. 先理解爬虫与数据处理的分工

1.1 一条完整的数据采集链路应该是什么样

一个成熟的爬虫任务，至少包含五个阶段：任务定义、页面请求、内容解析、数据清洗、结果落地。很多人把“爬虫”等同于“请求网页”，实际上请求只占整条链路的很小一部分。

任务定义：明确要采集哪些字段、字段类型、采集频率、数据量级。
页面请求：用 HTTP 客户端获取 HTML、JSON 或文件内容。
内容解析：从 HTML 中定位目标节点，提取结构化字段。
数据清洗：处理缺失值、重复值、类型转换、单位统一。
结果落地：写入 CSV、Excel、数据库或消息队列，供下游使用。

如果只做前两步，得到的是离散的网页字符串；做完后三步，才能得到可分析、可展示、可入库的数据。数据处理在这里不是爬虫的“附加功能”，而是爬虫能否真正投入使用的关键环节。

1.2 为什么把“清洗”放到爬虫代码里做

有些团队选择先把原始 HTML 全部存下来，后面再异步清洗。这种方式适合超大规模采集，但对个人项目和小型数据任务来说，成本偏高。直接在爬虫代码里做清洗，有四个实际好处：

尽早暴露字段问题。如果页面结构变了，解析阶段就能发现，而不是等清洗任务跑完才发现数据全是空值。
减少存储成本。清洗后只保留有效字段，原始 HTML 体积大、噪声多，全量保存浪费磁盘。
下游直接用。数据落地后可以立刻做统计、画图或导入报表，无需二次处理。
便于调试。解析和清洗写在一起，用少量样本页就能验证逻辑是否正确。

要注意的是，清洗逻辑一定要独立成函数。不要把所有逻辑都堆在一个 for 循环里，否则字段一变，排查成本会非常高。

1.3 本文要实现的最小闭环

这篇文章的演示项目是一个简单的书籍信息采集任务。我们会先准备一个本地测试页面，里面包含若干条书籍记录，每条记录有书名、作者、价格、出版日期和评分。然后写一个爬虫脚本，从页面中提取这些字段，组装成 DataFrame，依次完成清洗、去重、类型修正，最后导出为 CSV 和 Excel 两个文件。

之所以用本地页面而不是直接抓线上网站，是因为本地页面稳定、可控、不涉及对方服务器压力，适合验证流程。等整个流程跑通后，再根据目标网站的实际结构替换选择器和 URL 规则。

2. 环境准备与依赖版本

2.1 Python 版本与虚拟环境

本示例代码基于 Python 3.10 以上版本编写，使用到的新语法主要是类型注解，Python 3.8 以上基本都能运行，但建议新项目直接使用 3.11 或 3.12。创建独立虚拟环境可以避免依赖冲突：

python -m venv venv source venv/bin/activate

Windows 环境激活命令是venv\Scripts\activate。激活后确认解释器路径，避免后面安装的包装到了全局环境：

which python python --version

2.2 依赖库选型与版本参考

本次需要四个库：requests 负责发送 HTTP 请求，beautifulsoup4 负责解析 HTML，pandas 负责数据处理，openpyxl 负责 Excel 写入。

库名称	用途	常见稳定版本区间
requests	发送 HTTP 请求，处理响应	2.31.x
beautifulsoup4	HTML 解析与节点定位	4.12.x
pandas	数据清洗、转换、去重	2.1.x 以上
openpyxl	配合 pandas 导出 Excel	3.1.x

安装命令：

pip install requests beautifulsoup4 pandas openpyxl

注意：pandas 依赖的底层库较多，安装速度慢是正常现象。如果安装失败，优先检查 Python 版本是否过旧，以及 pip 源是否可用。生产环境建议固定版本号并生成 requirements.txt。

2.3 项目目录结构设计

推荐把爬虫任务拆分成独立模块，而不是只写一个main.py。下面是一个适合中小型任务的结构：

book_spider/ ├── venv/ # 虚拟环境 ├── data/ # 输出文件目录 │ ├── books.csv │ └── books.xlsx ├── logs/ # 日志目录 │ └── spider.log ├── pages/ # 本地测试页面 │ └── books.html ├── spider.py # 主脚本 └── requirements.txt # 依赖清单

这个结构的好处是页面资源、输出结果、日志和代码分离。后续如果采集源增加，可以按“每个站点一个模块”的方式扩展。

3. 构造一个可本地运行的测试页面

3.1 为什么建议先在本地跑通

直接对线上网站写爬虫，会遇到三个不确定因素：网站改版导致选择器失效、访问频率触发限制、网络波动导致请求超时。本地测试页面没有这些问题，网络请求也是发往本机服务，响应速度极快，非常适合反复调试解析逻辑。

本地页面还能故意塞入一些脏数据，比如价格字段带单位、出版日期缺年份、评分字段为空等，用来验证清洗逻辑是否可靠。这些情况在真实网站里几乎一定会出现。

3.2 本地 HTML 示例

在项目目录下创建pages/books.html，内容如下：

<!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <title>本地图书列表</title> </head> <body> <div class="book-list"> <div class="book-item"> <h3 class="title">Python编程：从入门到实践</h3> <span class="author">Eric Matthes</span> <span class="price">89.0元</span> <span class="date">2020-10</span> <span class="rating">9.1</span> </div> <div class="book-item"> <h3 class="title">流畅的Python</h3> <span class="author">Luciano Ramalho</span> <span class="price">139.0元</span> <span class="date">2017-05</span> <span class="rating">9.4</span> </div> <div class="book-item"> <h3 class="title">数据结构与算法分析</h3> <span class="author">Mark Allen Weiss</span> <span class="price">79.00元</span> <span class="date">2016-11</span> <span class="rating"></span> </div> <div class="book-item"> <h3 class="title">Python编程：从入门到实践</h3> <span class="author">Eric Matthes</span> <span class="price">89.0元</span> <span class="date">2020-10</span> <span class="rating">9.1</span> </div> </div> </body> </html>

这个页面故意设置了几个坑：价格有的是89.0元，有的是79.00元，格式不统一；第三本书的评分是空标签；第四本书和第一本完全重复。后面清洗阶段会处理这些情况。

3.3 启动本地静态服务

Python 自带 HTTP 服务器，可以在项目根目录启动：

cd book_spider python -m http.server 8000

启动后访问http://localhost:8000/pages/books.html可以看到页面内容。请求发往本机，不会产生任何外部访问，适合作为爬虫开发期的测试目标。实际项目改为线上 URL 时，要重新评估对方网站的访问政策和压力承受能力。

4. 实现基础爬虫：请求发送与 HTML 解析

4.1 requests 请求模块的正确用法

发送 GET 请求并获取页面内容，核心是四件事：设置超时、指定 User-Agent、检查状态码、正确解码。下面是一个基础封装：

import requests def fetch_html(url: str) -> str: headers = { "User-Agent": ( "Mozilla/5.0 (Windows NT 10.0; Win64; x64) " "AppleWebKit/537.36 (KHTML, like Gecko) " "Chrome/124.0 Safari/537.36" ) } resp = requests.get(url, headers=headers, timeout=10) resp.raise_for_status() resp.encoding = resp.apparent_encoding return resp.text

这里有几个关键点：

timeout=10同时设置连接超时和读取超时，避免某个页面卡死导致整个程序挂住。
raise_for_status()在返回状态码为 4xx 或 5xx 时抛出异常，防止拿错误页面继续解析。
resp.encoding = resp.apparent_encoding用于处理没有声明字符集或声明错误的页面。本地页面声明了 UTF-8，直接使用也可以，但真实站点经常需要这一步。

4.2 BeautifulSoup 定位目标节点

BeautifulSoup 的核心能力是帮你从 HTML 里“按条件找节点”。常用方法有find、find_all、select和select_one。其中select和select_one使用的是 CSS 选择器，写起来更直观。

from bs4 import BeautifulSoup def parse_books(html: str): soup = BeautifulSoup(html, "html.parser") items = soup.select("div.book-item") rows = [] for item in items: title_node = item.select_one("h3.title") author_node = item.select_one("span.author") price_node = item.select_one("span.price") date_node = item.select_one("span.date") rating_node = item.select_one("span.rating") rows.append({ "title": title_node.text.strip() if title_node else "", "author": author_node.text.strip() if author_node else "", "price": price_node.text.strip() if price_node else "", "date": date_node.text.strip() if date_node else "", "rating": rating_node.text.strip() if rating_node else "", }) return rows

使用html.parser是 Python 内置解析器，不需要额外安装 lxml。如果目标页面结构非常复杂，可以换成lxml解析器，解析速度更快，容错性也更好：

soup = BeautifulSoup(html, "lxml")

这里要注意一个常见坑：孤立地使用find("span").text有可能拿到错误节点的内容。一定要给每个字段明确选择器，并处理节点不存在的情况。上面代码中if title_node else ""就是兜底逻辑。

4.3 提取字段并组装 DataFrame

把解析结果交给 pandas，是为了方便后续清洗。先用简单的列表构造 DataFrame：

import pandas as pd rows = parse_books(fetch_html("http://localhost:8000/pages/books.html")) df = pd.DataFrame(rows) print(df)

此时输出还是带单位、带空格、有空值的原始数据。下一步开始清洗。

5. 数据处理：清洗、转换、去重

5.1 常见脏数据长什么样

网络页面提取出来的字段，通常有以下几类问题：

问题类型	示例	影响
字符串混入单位	`89.0元`	无法做数值计算
数值格式不统一	`79.00`与`89.0`	展示不一致
空值	评分标签为空	统计时缺失
重复记录	同一本书出现两次	计数翻倍
日期不完整	`2020-10`只有年月	无法直接做时间序列
首尾空白	`Python编程`	分组和比较失效

清洗的目标不是把所有数据变成同一种形态，而是让每种字段都符合它的业务含义：价格是数值，评分是数值，日期可以排序，文本字段没有多余空白。

5.2 用 pandas 完成清洗

针对上面的测试页，清洗逻辑可以分为四步：去空白、价格转数值、评分处理空值、去重。

def clean_books(df: pd.DataFrame) -> pd.DataFrame: # 1. 字符串字段去首尾空格 text_cols = ["title", "author"] for col in text_cols: df[col] = df[col].str.strip() # 2. 价格去掉单位并转成 float df["price"] = ( df["price"] .str.replace("元", "", regex=False) .str.strip() .astype(float) ) # 3. 评分空值先用 0 填充，再转数值类型 df["rating"] = ( df["rating"] .replace("", pd.NA) .fillna(0) .astype(float) ) # 4. 按关键字段去重，保留第一条 df = df.drop_duplicates(subset=["title", "author"]) return df.reset_index(drop=True)

这里有几个需要解释的细节：

str.replace("元", "", regex=False)中regex=False表示按普通字符串替换，而不是正则，避免“元”字被理解成正则元字符。
评分空值先替换成pd.NA，再fillna(0)，是为了避免把空字符串直接转 float 时报错。
去重使用subset=["title", "author"]，因为相同书名可能出不同版本，必须同时看作者才能判定是否重复。

清洗后打印结果：

cleaned = clean_books(df) print(cleaned) print(cleaned.dtypes)

预期的输出是 3 行数据，价格列是float64，评分列也是float64，重复的第四本书被删除。

5.3 数据校验与异常值处理

清洗完成后还要做校验。最直接的手段是看每个字段的取值范围、空值数量和唯一值数量：

print(cleaned.isna().sum()) print(cleaned.describe())

describe()会输出数值列的计数、均值、最小值、最大值。如果发现价格为负数、评分为 0 或超过 10，就要回到解析逻辑排查。评分为 0 可能是空值填充，也可能是网站本身未提供评分，这两种情况语义不同。严格来说，空评分应该保留为空并在下游处理，而不是一律填 0。演示代码中填 0 只是为了展示数值转换，真实项目里要根据业务需求决定。

6. 数据落地：CSV 与 Excel 输出

6.1 pandas 导出 Excel 需要确认的依赖

pandas 写 CSV 不需要额外依赖，写 Excel 需要 openpyxl。如果安装的是精简版 pandas，可能缺少这个库，导出时会报ModuleNotFoundError: No module named 'openpyxl'。安装后可以用以下代码导出：

output_dir = "data" cleaned.to_csv(f"{output_dir}/books.csv", index=False, encoding="utf-8-sig") cleaned.to_excel(f"{output_dir}/books.xlsx", index=False, sheet_name="books")

注意 CSV 的编码使用utf-8-sig。如果使用普通utf-8，Excel 打开 CSV 时中文可能显示为乱码，因为部分版本的 Excel 默认按 ANSI 或 GBK 解码。utf-8-sig会写入 BOM 头，Excel 可以正确识别。

6.2 文件命名与输出目录管理

固定文件名会导致每次运行覆盖上一次的结果。对于需要保留历史数据的任务，建议按日期命名：

from datetime import datetime today = datetime.now().strftime("%Y%m%d") cleaned.to_csv(f"{output_dir}/books_{today}.csv", index=False, encoding="utf-8-sig") cleaned.to_excel(f"{output_dir}/books_{today}.xlsx", index=False, sheet_name="books")

输出目录要先创建，否则会报FileNotFoundError。可以在脚本开头统一处理：

from pathlib import Path Path("data").mkdir(exist_ok=True) Path("logs").mkdir(exist_ok=True)

6.3 增量采集与全量采集的选择

演示脚本是全量采集：每次运行都把页面里的数据全部抓下来。真实任务中，页面数据会持续变化，此时要考虑三种策略：

全量覆盖：数据量小、页面变化不大时最简单。
增量追加：采集前先读历史文件，与本次结果做差集，只追加新增记录。
幂等写入：用数据库主键约束保证重复运行不会产生重复数据，适合写入 MySQL、PostgreSQL 等场景。

学习阶段先掌握全量流程，进入生产前要确定主键字段和更新策略。比如书籍可以用 ISBN 作为唯一键，如果没有 ISBN，就只能用书名加作者组合。

7. 分页采集与请求稳定性控制

7.1 分页 URL 的构建方式

真实网站几乎都有列表分页。常见形式有两种：路径参数和查询参数。

https://example.com/books/page/2 https://example.com/books?page=2&size=20

处理分页时，不要手工拼接字符串，用参数化方式更安全。requests 支持通过params传参：

def fetch_page(page: int) -> str: params = {"page": page, "size": 20} resp = requests.get("https://example.com/books", params=params, timeout=10) resp.raise_for_status() return resp.text

分页的终止条件一般有几种：返回的列表为空、页码超过总页数、返回码变成 404、超出网站规定的最大页数。稳妥做法是设置最大页数上限，例如只抓前 100 页，防止死循环。

7.2 请求频率、User-Agent 与超时设置

集中高频请求会给目标服务器造成压力，也可能触发对方的风控。一个基础做法是在每次请求之间加入随机延时：

import random import time def polite_sleep(): time.sleep(random.uniform(1.0, 3.0))

User-Agent 要设置成真实浏览器的值，但不是用来“伪装绕过”，而是让服务器识别这是一个普通请求。配合requests.Session可以复用连接，减少 TCP 握手次数：

session = requests.Session() session.headers.update({ "User-Agent": "Mozilla/5.0 ...", }) resp = session.get(url, timeout=10)

7.3 日志与断点续采

脚本跑到第 80 页时失败，如果从头再来，既费时间又加重对方服务器负担。两种改进方式：记录进度和断点续采。

记录进度最简单的办法是每完成一页写一行日志：

import logging logging.basicConfig( filename="logs/spider.log", level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s", ) logging.info(f"page {page} done, collected {len(rows)} items")

断点续采则是在启动时读取之前已经采集的页码或主键集合：

finished_pages = set() # 从日志或状态文件恢复 # 每次请求前判断 page 是否在 finished_pages 中

严格来说，断点续采在服务端数据频繁变化时会有数据不一致的问题，但对大多数列表页采集场景，优势远大于风险。生产环境更推荐把任务状态写入数据库，便于多机并行时统一调度。

8. 常见问题与排查路径

8.1 请求超时或连接失败

现象是 requests 抛出requests.exceptions.ConnectTimeout或ConnectionError。

排查顺序：

先确认 URL 本身能否用浏览器访问。
检查本机网络是否能连通目标域名。
确认timeout参数是否设置过小。
查看是否被目标服务器拒绝，观察响应状态码。
如果之前请求频率过高，先停止一段时间再测试。

不要直接无限重试。建议使用有限次数的重试，并在重试间隔中加入退避时间：

for attempt in range(3): try: resp = session.get(url, timeout=10) resp.raise_for_status() break except requests.RequestException as e: if attempt == 2: raise time.sleep(2 * (attempt + 1))

8.2 解析结果为空

现象是页面请求成功，状态码 200，但select返回空列表，DataFrame 全是空值。

可能原因和检查方式：

可能原因	检查方式
页面内容由 JavaScript 动态渲染	查看 HTML 中是否真的包含目标标签，搜索某个文本片段
选择器写错	在浏览器开发者工具中复制完整选择器，再与代码对比
页面被重定向到其他地址	检查`resp.url`与请求 URL 是否一致
反爬机制返回了验证页面	打印响应文本前 500 个字符，看是否包含验证关键词

要特别说明的是，如果页面内容由 JS 渲染，requests 拿到的 HTML 里根本没有目标数据，这时候应该换接口请求或者使用浏览器自动化工具，而不是一直调整选择器。

8.3 Excel 导出报错

常见报错是ModuleNotFoundError: No module named 'openpyxl'，解决方式是安装 openpyxl。另一个可能问题是 sheet 名称长度超过 Excel 限制，sheet_name不能超过 31 个字符，且不能包含特殊字符。

如果数据量特别大，写 Excel 会明显变慢，这是 Excel 格式本身的限制。大数据量场景优先输出 CSV 或 Parquet，Excel 只用于少量展示数据。

8.4 中文乱码问题

请求阶段乱码：resp.encoding设置不对，改成resp.apparent_encoding后重新解析。
CSV 用 Excel 打开乱码：写入时使用encoding="utf-8-sig"。
HTML 本身乱码：确认网页声明的 charset 与服务器实际返回是否一致，可以在响应头Content-Type中查看charset。

9. 合规边界、生产环境要求与检查清单

9.1 爬虫的合规前提

爬虫采集不是一个“能访问就能抓”的操作。无论演示代码还是生产任务，都要注意三点：

遵守目标网站的 robots.txt 规则和服务条款。
只采集自己有权使用的数据，不采集个人隐私、账号信息或受版权保护的内容。
控制请求频率，避免对目标服务器造成压力。

本文的本地页面演示只用于学习，不构成对任何线上网站的采集行为。替换成真实网站时，需要自行确认合法性，并对采集范围、字段用途和存储方式做完整评估。

9.2 学习环境与生产环境的差异

维度	学习环境	生产环境
目标	跑通流程	稳定运行、可监控、可回滚
请求	本地页面，一两次即可	需要限速、重试、随机延时
数据量	几行到几十行	可能百万行以上
存储	CSV/Excel	数据库或数据仓库
异常处理	try 兜底即可	完整日志、告警、任务调度
配置	写死在代码里	外置配置文件或环境变量
安全	不涉及	敏感字段脱敏、访问控制

生产环境至少还要补齐：失败任务的自动告警、数据质量检查、任务幂等性、采集结果与源站数据的一致性校验、代码版本管理。任何一个环节缺失，都可能在长期运行后引发数据问题。

9.3 可复用检查清单

每次写完一个爬虫任务，建议按下面的清单核对一遍：

是否设置了超时和有限重试？
是否对每个字段做了空值兜底？
是否处理了中文乱码和编码问题？
数值字段是否转成了正确的类型？
是否去除了重复记录？
输出文件是否带日期或版本标识？
是否有日志记录采集进度？
是否设置了分页上限和请求频率控制？
是否确认了目标网站的采集合规性？
生产环境是否做到配置外置、异常可追踪、结果可校验？

这个清单可以作为代码评审的依据。不要只看“程序能跑起来”，还要看异常分支、数据质量和运行成本。爬虫代码最大的风险不是语法错误，而是某个字段解析失败后整批数据静默变脏，而程序仍然正常退出。

下一步的扩展方向有两个：一是用 Scrapy 管理大规模采集任务，利用它的中间件、管道和调度机制代替手写循环；二是给爬虫接入数据库，把清洗后的数据写入 MySQL 或 PostgreSQL，让下游分析任务直接使用。无论选择哪个方向，请求、解析、清洗、落地的思路都适用。新手上手时，建议先把这个最小闭环在多台机器上运行几次，观察日志和输出文件，确认自己对每一步的状态都心中有数，再去追求复杂的框架和分布式能力。