Python接口数据采集实战：从Network面板到分页爬虫-平芜编程栈

1. 项目背景与核心价值

在数据采集领域，直接分析网页DOM结构获取数据的方式（即传统爬虫）存在明显局限性：页面结构变动频繁、反爬机制复杂、渲染性能消耗大。而现代Web应用普遍采用前后端分离架构，数据通过API接口动态加载，这为我们提供了更高效的采集方案——直接从Network面板还原JSON接口。

这个实战项目将教会零基础学习者如何：

通过浏览器开发者工具捕获真实数据接口
分析接口参数规律实现自动翻页
构建完整的接口请求链路
处理常见的接口加密和验证机制

提示：相比传统爬虫，接口采集具有数据纯净、效率高、资源占用少等优势，但需要掌握特定的分析技巧。

2. 环境准备与工具配置

2.1 基础环境要求

Python 3.8+（推荐3.10）
requests库（2.28+）
Chrome/Firefox浏览器
任意代码编辑器（VS Code/PyCharm）

2.2 关键工具安装

pip install requests jsonpath-ng # 接口请求与JSON解析 pip install faker # 生成随机请求头

2.3 浏览器调试配置

打开开发者工具（F12）
切换到Network面板
勾选"Preserve log"保留请求记录
过滤XHR/JS请求类型

3. 接口捕获与分析实战

3.1 定位目标接口

以电商网站商品列表为例：

进入商品列表页
滚动页面触发分页加载
观察Network中新出现的请求
筛选包含"list"、"page"等关键词的接口

3.2 接口参数解析

典型分页接口特征：

{ "pageNum": 2, "pageSize": 20, "total": 100, "list": [...] }

关键参数说明：

pageNum：当前页码（通常从0或1开始）
pageSize：每页数据量（常见值10/20/50）
total：数据总量（用于计算总页数）
list：实际数据数组

3.3 请求头逆向技巧

常见需要复现的headers：

headers = { "User-Agent": "Mozilla/5.0...", "Referer": "https://example.com/list", "X-Requested-With": "XMLHttpRequest", "Accept": "application/json" }

注意：部分网站会校验Origin、Cookie等字段，需要完整复制浏览器中的请求头。

4. 分页逻辑实现方案

4.1 基础分页实现

import requests from jsonpath_ng import parse def fetch_page(page): url = "https://api.example.com/list" params = { "page": page, "size": 20 } resp = requests.get(url, headers=headers, params=params) json_data = resp.json() # 使用jsonpath提取数据 jsonpath_expr = parse("$.data.list[*]") return [match.value for match in jsonpath_expr.find(json_data)]

4.2 智能终止条件

三种常见停止策略：

固定页数（已知总页数时）

for page in range(1, total_page+1): fetch_page(page)

空数据检测（推荐）

page = 1 while True: data = fetch_page(page) if not data: break page += 1

总量匹配（需接口返回total）

total = get_total_count() collected = 0 while collected < total: data = fetch_page(page) collected += len(data)

5. 高级技巧与异常处理

5.1 参数加密破解

常见加密位置：

时间戳参数（如_t=1629093812）
签名参数（如sign=md5(param1+param2+secret)）
动态token（需从HTML或前置接口获取）

解决方案：

搜索关键参数名（如sign）
查看Initator调用栈
定位加密JS代码

5.2 频率控制策略

import time import random # 基础随机延迟 time.sleep(random.uniform(1, 3)) # 自适应延迟（根据响应时间调整） last_response_time = 0 def smart_delay(): global last_response_time delay = max(1, last_response_time * 1.5) time.sleep(delay)

5.3 代理IP集成方案

proxies = { "http": "http://user:pass@ip:port", "https": "http://user:pass@ip:port" } try: resp = requests.get(url, proxies=proxies, timeout=10) except requests.exceptions.ProxyError: # 代理失效处理逻辑 rotate_proxy()

6. 完整项目示例

6.1 电商列表采集案例

import json from urllib.parse import urlencode class EcommerceSpider: def __init__(self): self.session = requests.Session() self.session.headers.update({ "User-Agent": "Mozilla/5.0...", "Accept-Language": "zh-CN,zh;q=0.9" }) def get_list(self, page): base_url = "https://api.shop.com/search" params = { "page": page, "sort": "sales", "platform": "web", "_": int(time.time()*1000) # 时间戳防缓存 } try: resp = self.session.get( url=base_url, params=params, timeout=15 ) resp.raise_for_status() return resp.json() except Exception as e: print(f"Page {page} failed: {str(e)}") return None def parse_data(self, json_data): # 实现具体的数据解析逻辑 pass def run(self): page = 1 while True: data = self.get_list(page) if not data or not data.get("items"): break self.parse_data(data) page += 1 time.sleep(2)

6.2 数据存储方案

# JSON存储 def save_to_json(data, filename): with open(filename, "a", encoding="utf-8") as f: json.dump(data, f, ensure_ascii=False, indent=2) # CSV存储 import csv def save_to_csv(items, filename): with open(filename, "a", newline="", encoding="utf-8") as f: writer = csv.DictWriter(f, fieldnames=items[0].keys()) if f.tell() == 0: writer.writeheader() writer.writerows(items)

7. 常见问题排查指南

问题现象	可能原因	解决方案
返回403错误	请求头不完整	复制浏览器全部headers
数据为空数组	参数加密未处理	查找sign/token生成逻辑
频繁被封IP	请求频率过高	添加随机延迟+代理池
返回乱码数据	编码问题	resp.encoding = "utf-8"
连接超时	网络不稳定	增加timeout+重试机制

8. 性能优化建议

使用Session保持连接：

session = requests.Session() session.headers.update(default_headers)

异步请求加速（aiohttp）：

import aiohttp async def fetch(session, url): async with session.get(url) as resp: return await resp.json()

连接池配置：

adapter = requests.adapters.HTTPAdapter( pool_connections=10, pool_maxsize=50, max_retries=3 ) session.mount("https://", adapter)

数据去重方案：

seen = set() for item in data: if item["id"] not in seen: process(item) seen.add(item["id"])

在实际项目中，接口采集的成功率往往取决于对细节的把握。建议先用Postman测试接口，确认参数有效性后再用代码实现。对于复杂加密场景，可以配合PyExecJS调用网站原有JavaScript代码。

Python接口数据采集实战：从Network面板到分页爬虫