一、为什么要爬取统计局数据
在数据分析、宏观经济研究、区域经济对比等场景中，国家统计局（NBS）发布的地区经济数据是最权威、最系统的公开数据源之一。其官网提供分省、市、县的GDP、人口、固定资产投资、居民收入等数百项指标，时间跨度从建国初期至今。然而，官方页面通常以动态表格和分页查询形式呈现，手动复制效率极低，且无法实现自动化监控与更新。因此，编写一个稳定、高效、合规的Python爬虫，成为数据从业者的必备技能。
本文将带您从零开始，使用2025-2026年最新Python生态工具，构建一个完整的国家统计局地区经济数据爬取系统。全文不仅提供可运行的代码，更会深入讲解反爬策略、动态渲染处理、数据清洗、异常重试、代理轮换、增量存储等生产级细节。
目录
一、为什么要爬取统计局数据
二、技术选型：为什么选择这些库
三、目标网站分析与接口破解
3.1 国家统计局数据查询入口
3.2 指标代码与地区代码的获取
四、环境搭建与项目结构
4.1 创建虚拟环境
4.2 安装依赖
4.3 项目目录结构
五、核心代码逐段实现
5.1 配置文件 config/settings.py
5.2 日志与异常处理 utils/helpers.py
5.3 请求抓取器 core/fetcher.py
5.4 数据解析器 core/parser.py
5.5 数据管道 core/pipeline.py
5.6 ORM模型 models/tables.py
5.7 爬虫主程序 main.py
六、反爬策略深度剖析与应对
七、性能优化与异步改造
二、技术选型：为什么选择这些库
| 库/工具 | 版本要求 | 作用 | 选型理由 |
|---|---|---|---|
| Python | 3.11+ | 基础环境 | 类型提示更完善，性能提升 |
| requests | 2.32+ | HTTP请求 | 简洁稳定，支持会话保持 |
| httpx | 0.28+ | 异步HTTP（备选） | 支持HTTP/2，部分场景更快 |
| selenium |
