本教程深入探讨技术实现细节，通过“万邦平台API + Python”组合，精准采集1688商品搜索数据。核心思路是借助成熟的第三方API服务，绕过繁琐且高门槛的反爬虫机制，直接获取结构清晰、易于处理的JSON格式数据，从而大幅提升开发效率与数据获取的稳定性。
一、环境与凭证准备
在着手编写核心代码之前，必须先完成基础环境与调用凭证的配置，这是确保后续流程顺利进行的前提。
- Python环境依赖
确保本地已安装Python 3.6或更高版本。本项目主要依赖以下两个核心库：
- requests：负责发送HTTP请求，与API接口进行通信。
- pandas：用于高效的数据处理及导出为CSV文件。
推荐使用国内镜像源以加速安装过程，命令如下：
pip install requests pandas -i https://mirrors.aliyun.com/pypi/simple/- API凭证获取（Key/Secret）
本方案的基石是外部API接口服务。你需要自行注册并获取API调用凭证，即API Key和Secret Key。这是调用接口时进行身份验证的必要信息，务必妥善保管。 - 核心接口参数说明
本教程主要调用item_search接口，其关键参数配置如下表所示：
| 参数名 | 是否必填 | 说明 |
|---|---|---|
| key | 是 | 获取的API Key |
| secret | 是 | 获取的Secret Key |
| q | 是 | 搜索关键词 (示例：“纯棉T恤”) |
| page | 否 | 页码 (默认为1) |
| page_size | 否 | 每页返回条数 (最大50) |
二、核心Python代码实现
以下代码完整实现了签名生成、数据请求、响应解析及持久化存储的全流程。你仅需在配置区替换API_KEY、SECRET_KEY和KEYWORD三个变量，即可直接运行。
import requests import time import pandas as pd import hashlib import urllib.parse # ================== 配置区 (请在此处替换你的信息) ================== API_KEY = "替换为你的API Key" # 必填：API凭证 Key SECRET_KEY = "替换为你的Secret Key" # 必填：API凭证 Secret KEYWORD = "纯棉T恤" # 必填：搜索关键词 MAX_PAGE = 5 # 抓取页数 (建议不超过50) PAGE_SIZE = 50 # 每页数量 (最大50) # =============================================================== API_URL = "https://api-gw.onebound.cn/micro/item_search/" def generate_sign(params: dict, secret: str) -> str: """ 生成API请求签名 算法逻辑：按参数名ASCII升序排序 -> 拼接k1v1k2v2 -> 前后缀加Secret -> MD5大写 """ sorted_pairs = sorted(params.items(), key=lambda x: x[0]) query_str = urllib.parse.urlencode(sorted_pairs, safe=',') raw_str = f"{secret}{query_str}{secret}" return hashlib.md5(raw_str.encode()).hexdigest().upper() def crawl_1688_keyword(): """执行抓取任务""" all_data = [] print(f"开始抓取关键词【{KEYWORD}】的数据...") for page in range(1, MAX_PAGE + 1): try: # 1. 构建请求参数 params = { "key": API_KEY, "secret": SECRET_KEY, "q": KEYWORD, "page": page, "page_size": PAGE_SIZE, "sort": "sale", # 排序方式: sale(销量), price(价格), default(默认) "timestamp": int(time.time()), "cache": "no" } # 2. 生成签名并添加到参数 params["sign"] = generate_sign(params, SECRET_KEY) # 3. 发送请求 response = requests.get(API_URL, params=params, timeout=15) response.raise_for_status() data = response.json() # 4. 数据解析与清洗 if data.get("code") == 200: products = data.get("result", {}).get("products", []) for product in products: product_info = { "商品ID": product.get("productId", ""), "商品标题": product.get("subject", ""), "批发价": product.get("price", ""), "30天销量": product.get("saleCount", 0), "主图链接": product.get("imageUrl", ""), "详情页": product.get("detailUrl", ""), "供应商": product.get("sellerName", ""), "起订量": product.get("minOrderAmount", "") } all_data.append(product_info) print(f"第 {page} 页抓取成功，当前累计 {len(all_data)} 条") else: print(f"第 {page} 页抓取失败: {data.get('msg')}") break # 5. 限速控制 (防止请求过快被拦截) time.sleep(1.5) except Exception as e: print(f"第 {page} 页发生异常: {str(e)}") continue # 6. 数据导出 if all_data: df = pd.DataFrame(all_data) filename = f"1688_{KEYWORD}_数据.csv" df.to_csv(filename, index=False, encoding="utf-8-sig") print(f"\n抓取完成！数据已保存至: {filename}") else: print("\n未获取到数据，请检查网络连接或凭证配置。") if __name__ == "__main__": crawl_1688_keyword()三、常见问题与调试指南
在运行代码过程中，若遇到阻碍，可参考以下常见问题的解决方案进行排查。
- 鉴权失败 / 签名错误
- 原因：API_KEY或SECRET_KEY填写有误，或签名生成算法（
generate_sign函数）的逻辑被意外修改。 - 解决：仔细核对Key与Secret的值，确保
generate_sign函数的代码与教程保持完全一致。 - 数据为空 / 无相关商品
- 原因：搜索关键词过于冷门、生僻或包含不支持的特殊字符。
- 解决：尝试使用更通用、更宽泛的品类词进行搜索，或检查接口返回的
msg字段以确认具体状态。 - 请求过于频繁
- 原因：请求间隔时间（
time.sleep()）设置过短，触发了接口的频率限制。 - 解决：适当增大
time.sleep()的参数值，例如从1.5调整为2或3。 - CSV文件乱码
- 原因：主要出现在Windows系统下，Excel默认编码识别问题。
- 解决：代码中已采用
encoding="utf-8-sig"进行预防。若仍有乱码，可在Excel中通过“数据 -> 获取外部数据”功能重新导入，并手动选择UTF-8编码。
四、技术原理深度解析
- 规避反爬机制：本方案不直接与1688网页进行交互，而是通过调用封装好的API接口。反爬虫逻辑由接口服务商统一处理，因此我们的代码得以保持简洁与高稳定性。
- 数据结构化：接口直接返回JSON格式的数据，这让我们完全避免了使用
BeautifulSoup或XPath等工具解析复杂HTML页面的繁琐过程，数据提取更直接、高效。 - 合规性提示：请务必确保所获取的数据仅用于个人学习研究或合法的商业分析范畴，并自觉遵守相关平台的服务协议与规定。
