㊗️本期内容已收录至专栏《Python爬虫实战》，持续完善知识体系与项目实战，建议先订阅收藏，后续查阅更方便～
㊙️本期爬虫难度指数：⭐⭐⭐⭐☆（高级）
🉐福利：一次订阅后，专栏内的所有文章可永久免费看，持续更新中，保底1000+(篇)硬核实战内容。
全文目录：
- 🌟 开篇语
- 0️⃣ 前言（Preface）
- 1️⃣ 摘要（Abstract）
- 2️⃣ 背景与需求（Why）
- 2.1 为什么要采集公共卫生间点位
- 2.2 目标数据源
- 2.3 目标字段
- 3️⃣ 合规与注意事项
- 3.1 robots.txt 与接口服务说明
- 3.2 频率控制
- 3.3 User-Agent 与联系方式
- 3.4 不采集敏感信息
- 3.5 不绕过登录和付费限制
- 3.6 数据许可与成果使用
- 4️⃣ 技术选型与整体流程（What/How）
- 4.1 静态页面、动态页面还是 API
- 静态 HTML
- 动态渲染页面
- 数据 API
- 4.2 整体流程
- 4.3 bbox 的含义
- 4.4 聚类拆解的实现思路
- 4.5 为什么选择 requests
- 5️⃣ 环境准备与依赖安装
- 5.1 Python 版本
- 5.2 创建虚拟环境
- 5.3 requirements.txt
- 5.4 推荐项目结构
- 6️⃣ 核心实现：请求层（Fetcher）
- 6.1 配置文件
- 6.2 bbox 数据模型
- 6.3 请求异常类型
- 6.4 headers 的设计
- 6.5 Session 与 Cookie
- 6.6 重试与退避
- 7️⃣ 核心实现：解析层（Parser）
- 7.1 解析策略
- 7.2 列表页和详情页如何处理
- 7.3 node、way 和 relation 坐标统一
- 7.4 缺失字段的处理
- 设施名缺失
- 地区缺失
- 开放时间缺失
- 无障碍状态缺失
- 坐标缺失
- 开放状态
- 8️⃣ 数据存储与导出（Storage）
- 8.1 为什么使用 SQLite
- 8.2 存储实现
- 8.3 去重策略
- 第一层：当前响应内去重
- 第二层：数据库主键去重
- 内容哈希
- 8.4 CSV 编码
- 9️⃣ 任务调度与聚类拆解
- 9.1 Pipeline 实现
- 9.2 拆分条件
- 返回数量过多
- 请求超时或网关异常
- 9.3 为什么达到阈值后不直接保存父 bbox 数据
- 9.4 最大拆分深度
- 9️⃣ 运行方式与结果展示
- 9.1 日志配置与入口文件
- 9.2 先查看查询语句
- 9.3 正式启动
- 9.4 输出位置
- 9.5 示例日志
- 9.6 示例结果
- 9.7 查询 SQLite
- 🔟 常见问题与排错
- 10.1 HTTP 403
- 10.2 HTTP 429
- 10.3 504 或读取超时
- 10.4 返回 HTML 而不是 JSON
- 10.5 JSON 解析失败
- 10.6 抓到的数据为空
- 10.7 地区字段全部相同
- 10.8 无障碍状态未知很多
- 10.9 中文乱码
- 10.10 数据重复
- 10.11 解析器突然大量报错
- 1️⃣1️⃣ 进阶优化
- 11.1 单元测试
- 11.2 断点续跑
- 11.3 日志与监控
- 11.4 并发优化
- 11.5 asyncio 是否更快
- 11.6 行政区空间匹配
- 11.7 开放时间解析
- 11.8 数据变更历史
- 11.9 定时任务
- 11.10 大规模任务如何改造
- 1️⃣2️⃣ 总结与延伸阅读
- 🌟 文末
- ✅ 专栏持续更新中｜建议收藏 + 订阅
- ✅ 互动征集
- ✅ 免责声明
🌟 开篇语
哈喽，各位小伙伴们你们好呀～我是【喵手】。
运营社区： C站 / 掘金 / 腾讯云 / 阿里云 / 华为云 / 51CTO
欢迎大家常来逛逛，一起学习，一起进步～🌟
我长期专注Python 爬虫工程化实战，主理专栏👉 《Python爬虫实战》：从采集策略到
