最近在做一个电商数据采集的项目，尝试用Playwright和Chromium实现了一套稳定的采集方案，这里分享一下实战经验。这个方案特别适合需要长期运行的企业级数据采集场景，从页面加载到数据存储都做了稳定性优化。
- 环境准备与基础配置
首先需要安装Playwright库，它会自动下载匹配的Chromium浏览器。建议使用虚拟环境隔离依赖。基础配置包括设置无头模式（生产环境建议开启）和随机User-Agent，这是绕过基础反爬的关键。我准备了20个常见浏览器的UA字符串，每次运行随机选择。
- 页面加载策略优化
电商网站常有动态加载内容，直接获取DOM可能漏掉数据。我的解决方案是：
- 设置全局超时时间为30秒
- 滚动到页面底部触发懒加载
- 等待特定商品列表元素出现
- 加入0.5-2秒的随机间隔防止请求过频
- 弹窗处理机制
实际运行中发现主要会遇到三类弹窗：
- Cookie同意框（通过等待accept按钮出现并点击）
- 促销弹窗（查找关闭按钮特征）
- 登录提示（直接忽略并继续）
- 数据提取逻辑
列表页抓取采用CSS选择器定位商品卡片，提取三个核心字段。详情页抓取需要注意：
- 新开标签页而非直接跳转
- 等待关键描述元素加载完成
- 处理可能缺失的字段（如库存状态）
- 设置5秒超时后自动跳过当前商品
- 数据存储设计
使用SQLite作为存储方案，表结构包含：
- 商品基础信息（名称、价格等）
- 详情页数据（描述、库存等）
- 元数据（抓取时间、来源URL等）
- 建立合适索引提升查询效率
- 异常处理与日志
完善的异常处理是长期运行的关键：
- 网络错误自动重试3次
- 元素丢失时记录详细上下文
- 每天自动轮换日志文件
- 关键操作都添加DEBUG日志
- 性能优化技巧
经过测试几个优化点效果显著：
- 复用浏览器实例而非每次新建
- 并行处理多个商品详情页（控制在5个以内）
- 禁用不必要的CSS/图片加载
- 使用更精确的元素等待条件
这套方案在InsCode(快马)平台上运行特别顺畅，它的内置环境已经配置好了所有依赖，省去了繁琐的环境搭建过程。最方便的是可以直接一键部署为长期运行的服务，不需要自己操心服务器维护。
实际测试中，这个脚本可以稳定运行数天，每天采集数万商品数据。平台提供的资源监控功能也很实用，能随时查看内存和CPU使用情况。对于需要快速验证想法的场景，这种开箱即用的体验确实能节省大量时间。
