B站漫画爬虫实战：从API逆向到异步下载的完整实现

1. 项目缘起：从“追更”到“备份”的刚需

作为一名老二次元，我追B站漫画（BiliBili漫画）也有好几年了。平台体验确实不错，正版高清、更新及时，但有两个痛点一直让我如鲠在喉：一是网络波动时加载慢得让人心焦，二是有些特别喜欢的作品总担心哪天会因为版权问题下架，想收藏起来反复看就成了奢望。手动截图？效率太低，而且会带上阅读界面的UI，观感很差。于是，一个念头自然就冒了出来：能不能写个程序，自动、完整地把漫画章节下载下来，保存成本地的高清图片？

这就是我动手研究B站漫画爬虫的初衷。它不是什么高大上的商业项目，纯粹是一个漫画爱好者为了解决个人需求而折腾的“小工具”。整个过程涉及对B站漫画网页端和App端接口的分析、反爬策略的应对以及图片的自动化处理。今天，我就把这段时间的研究心得、踩过的坑以及最终的实现代码（已开源在Github）完整地分享出来。请注意，本教程及工具仅用于个人学习与技术交流，下载的内容请尊重版权，勿用于商业传播。

2. 核心目标拆解：一个爬虫需要做什么

在动手写代码之前，我们必须先明确这个爬虫的核心任务是什么。不能一上来就requests.get，那样大概率会碰一鼻子灰。我把目标拆解成了几个必须攻克的关卡：

2.1 目标一：找到真正的图片数据源

这是最核心的一步。你在网页上看到的漫画图片，并不是直接存放在一个像/chapter/1/page/1.jpg这样简单的静态链接里的。现代网站，尤其是大型平台，普遍采用动态加载技术。图片地址很可能被编码、加密，或者通过JavaScript异步请求一个API接口来获取。

所以，我们的第一个任务就是“抓包”。使用浏览器开发者工具（F12）的“网络”（Network）面板，在浏览漫画页时，监控所有的网络请求。你需要过滤出XHR或Fetch类型的请求，重点寻找那些返回数据里包含图片URL的接口。这个过程需要耐心和一点直觉，通常接口的命名会包含chapter、image、index等关键词。

2.2 目标二：理解请求的认证与参数

找到接口后，你会发现直接访问这个接口链接很可能返回错误，比如403 Forbidden或者提示“未登录”。这是因为请求需要携带一些认证信息或特定的参数。

• Cookie/Token：这是最常见的身份认证方式。登录B站后，你的浏览器会保存一个包含登录状态的Cookie。爬虫需要模拟这个行为，在请求头（Headers）中正确设置Cookie字段。有时，认证信息也可能放在Authorization头或者作为一个token参数。
• Query参数/请求体：接口URL后面通常会跟一堆参数，比如chapter_id=123456&sign=abcde×tamp=...。或者，参数可能放在POST请求的body里。这些参数中，chapter_id这类是业务参数，容易理解；但像sign、_signature这类，很可能是防爬虫的签名参数，需要逆向分析前端JavaScript代码才能知道其生成算法，这是爬虫中最具挑战性的部分之一。
• 请求头（Headers）：除了Cookie，User-Agent（模拟浏览器）、Referer（来源页）等头信息也经常被服务器用来校验请求的合法性。缺少或错误可能导致请求被拒。

2.3 目标三：处理反爬机制

B站这类大型平台没有反爬措施是不可能的。除了上述的签名，还可能遇到：

• IP频率限制：短时间内从一个IP地址发起大量请求，可能会被暂时封禁。对于漫画爬虫，由于下载图片是连续的、密集的IO操作，这个问题尤为突出。
• 验证码：当检测到异常行为时，可能会弹出验证码。对于个人低频使用，可以手动处理；但对于自动化脚本，则需要集成打码平台或更复杂的绕过方案。
• 数据加密：接口返回的图片URL本身可能是加密的，需要解密后才能得到真实的图片地址。

2.4 目标四：实现稳定高效的下载与存储

攻克了数据获取的难关后，剩下的就是“体力活”：

• 并发控制：为了加快下载速度，可以使用多线程或异步IO（如asyncio+aiohttp）并发下载多张图片。但必须控制并发数，避免对服务器造成过大压力或触发反爬。
• 错误重试与断点续传：网络不稳定、服务器临时错误都可能导致单张图片下载失败。代码需要有重试机制。对于长篇漫画，最好能记录下载进度，支持从断点继续下载。
• 本地化组织：下载的图片需要按“漫画名/章节号/页码”这样的目录结构妥善保存。同时，要规范命名（如001.jpg,002.jpg），方便后续用阅读器查看或打包。

明确了这四大目标，我们的开发就有了清晰的路线图。接下来，我将带你一步步深入每个环节的实战细节。

3. 逆向工程实战：定位与解析核心API

理论说再多，不如动手干。我们直接进入实战环节，看看如何找到并破解B站漫画的数据接口。

3.1 环境准备与抓包工具

首先，你需要一个浏览器（Chrome/Firefox）和其开发者工具。我强烈建议在分析阶段使用一个“干净”的浏览器配置文件，或者无痕模式，避免其他插件干扰网络请求的观察。

打开B站漫画的网页版（manga.bilibili.com），登录你的账号。然后打开开发者工具（F12），切换到“网络”（Network）面板。记得勾选“保留日志”（Preserve log），并清空当前的请求记录。

3.2 寻找图片数据接口

打开任意一个你有权限阅读的漫画章节。在页面加载和翻页的过程中，仔细观察网络请求列表。你会看到大量对.js、.css、图片资源的请求。我们需要过滤出携带数据的API请求。

在过滤器（Filter）中输入XHR或Fetch，或者直接搜索关键词如api、chapter、image、index。很快，你会发现一个关键的请求，它的响应（Preview）里是一段JSON数据，其中包含了当前章节所有图片的信息。

以我分析时的接口为例（接口地址和参数可能随时间变化，但原理相通）：https://manga.bilibili.com/twirp/comic.v2.Comic/GetImageIndex?device=pc&platform=web

这是一个POST请求。查看它的“载荷”（Payload），会发现类似这样的数据：

{ "ep_id": 1234567 }

这里的ep_id就是章节的唯一ID。这个ID可以从漫画章节列表页的URL或页面源代码中找到。

3.3 破解请求关键参数

找到接口只是第一步。尝试用Python的requests库直接模拟这个POST请求，你可能会收到一个错误响应，提示“签名错误”或直接返回空数据。这说明请求缺少了必要的校验信息。

回到开发者工具，仔细查看这个GetImageIndex请求的“标头”（Headers）。除了常见的Content-Type、User-Agent，有几个头信息至关重要：

1. Cookie：包含了你的登录会话（SESSDATA等），这是身份凭证。
2. Origin/Referer：通常需要设置为漫画网站的域名，表明请求来源。
3. 一个自定义头，如x-bili-signature或类似名称：这就是签名（Sign）。它是服务器用来验证请求是否由合法前端生成的关键。这个签名值，通常是使用一个密钥（Secret Key）对请求的URL、参数、时间戳等元素按照特定算法（如MD5, HMAC-SHA256）计算得出的。

签名的生成逻辑被混淆在前端的JavaScript代码中。要找到它，需要一些耐心：

• 在“网络”面板中，找到这个GetImageIndex请求，右键点击它，选择“复制” -> “复制为cURL（bash）”。这将得到一串完整的命令行指令，里面包含了所有头信息和参数。
• 更深入的做法是，在“源代码”（Sources）面板中，搜索与签名参数名（如sign）或相关API路径（如/twirp/）相关的JS文件，通过断点调试来跟踪签名值的计算过程。

注意：逆向签名算法是爬虫开发中最复杂的部分，可能涉及扣代码、补环境等操作。对于B站漫画，其签名机制可能更新。一个更简单（但可能不稳定）的替代方案是：直接复用从浏览器捕获的完整请求头。在爬虫代码中，将cURL命令里所有的-H参数（即请求头）原封不动地设置到requests的headers字典里。这种方法避开了逆向算法，但缺点是如果B站更新了签名规则，你的爬虫就会立刻失效，需要重新抓包更新请求头。

3.4 解析接口返回的数据

当我们成功模拟请求后，会得到一个JSON响应。其结构大致如下：

{ "code": 0, "msg": "success", "data": { "images": [ { "path": "xxxxxx.jpg", "x": 0, "y": 0, "width": 800 }, // ... 更多图片信息 ] } }

关键字段在data.images里。每个图片对象中的path字段，看起来像是一个相对路径或经过处理的标识符，它并不是可以直接访问的图片URL。

通常，需要将这个path与一个基础图片服务器域名拼接，才能得到真实的图片地址。这个基础域名可能隐藏在其他的接口响应或页面全局变量中。例如，真实图片URL的格式可能是：https://i0.hdslb.com/bfs/manga/+path。

至此，我们完成了最关键的逆向工作：找到了数据接口，知道了如何构造合法的请求，并解析出了图片的存储路径。接下来，就是构建一个健壮的下载器。

4. 构建健壮的下载器：代码设计与避坑指南

掌握了核心API，我们就可以用Python来构建爬虫了。我将以模块化的方式讲解核心代码，并穿插大量我在实践中踩过的坑和总结的经验。

4.1 项目结构与依赖

首先，创建一个清晰的项目目录。我推荐的结构如下：

bilibili-manga-downloader/ ├── main.py # 主程序入口 ├── spider/ │ ├── __init__.py │ ├── api_client.py # 封装API请求 │ ├── downloader.py # 处理下载逻辑 │ └── utils.py # 工具函数（如解析URL、创建目录） ├── config.py # 配置文件（如请求头、超时设置） ├── requirements.txt # 项目依赖 └── logs/ # 日志目录

在requirements.txt中，我们至少需要：

requests>=2.28.0 aiohttp>=3.8.0 asyncio tqdm>=4.64.0 # 用于显示进度条

4.2 核心请求模块（api_client.py）

这个模块负责与B站服务器通信，必须处理签名、Cookie和错误重试。

import requests import time import hashlib import json from typing import Optional, Dict, Any class BilibiliMangaAPIClient: def __init__(self, cookie: str): """ 初始化客户端 :param cookie: 从浏览器复制的Cookie字符串 """ self.session = requests.Session() self.base_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Origin': 'https://manga.bilibili.com', 'Referer': 'https://manga.bilibili.com/', 'Cookie': cookie, # ！！！重要：以下签名相关头部需要从实际抓包中获取并替换 ！！！ 'x-bili-signature': 'YOUR_SIGNATURE_HERE', 'x-bili-signature-version': '1.0', 'x-bili-timestamp': str(int(time.time())), # 动态时间戳 } self.api_base = 'https://manga.bilibili.com/twirp/comic.v2.Comic' def _make_request(self, method: str, endpoint: str, data: Optional[Dict] = None, max_retries: int = 3) -> Optional[Dict]: """ 封装请求，包含重试逻辑 """ url = f"{self.api_base}/{endpoint}" headers = self.base_headers.copy() # 动态更新时间戳 headers['x-bili-timestamp'] = str(int(time.time())) for attempt in range(max_retries): try: if method.upper() == 'GET': resp = self.session.get(url, headers=headers, params=data, timeout=10) else: # POST resp = self.session.post(url, headers=headers, json=data, timeout=10) resp.raise_for_status() # 检查HTTP错误 result = resp.json() if result.get('code') != 0: print(f"API Error [{endpoint}]: {result.get('msg')}") return None return result.get('data') except requests.exceptions.RequestException as e: print(f"Request failed (attempt {attempt+1}/{max_retries}) for {endpoint}: {e}") if attempt < max_retries - 1: time.sleep(2 ** attempt) # 指数退避 else: return None return None def get_chapter_images(self, ep_id: int) -> Optional[list]: """获取章节图片索引信息""" data = {"ep_id": ep_id} return self._make_request('POST', 'GetImageIndex', data=data) def get_manga_detail(self, comic_id: int) -> Optional[Dict]: """获取漫画详情（如标题、章节列表）""" data = {"comic_id": comic_id} return self._make_request('POST', 'GetComicDetail', data=data)

关键点与避坑：

1. Cookie管理：Cookie是核心。直接从登录后的浏览器开发者工具中，复制Cookie请求头的完整值。注意Cookie会过期，需要定期更新。
2. 签名头（x-bili-signature）：这是最大的坑。如上所述，你需要从抓包的真实请求中复制这个头的值。这个值很可能是动态生成的，并且与时间戳等其他参数绑定。直接写死一个值可能只能用一次。更可靠的方法是逆向其JS生成逻辑，但难度极高。对于个人偶尔使用，可以写一个脚本，每次运行前先手动抓一次包，把新的签名头更新到配置里。这不是优雅的方案，但是个可行的“捷径”。
3. 时间戳：x-bili-timestamp需要是当前时间戳（秒级）。服务器会校验这个时间，如果偏差太大，请求会被拒绝。所以我们在每次请求前都更新它。
4. 错误处理与重试：网络请求不稳定是常态。_make_request方法内置了带指数退避的重试机制，对于临时性的网络抖动或服务器繁忙很有效。
5. User-Agent：模拟一个常见的桌面浏览器UA，降低被识别为脚本的风险。

4.3 异步下载模块（downloader.py）

下载图片是IO密集型任务，使用异步可以极大提升效率。我们使用aiohttp和asyncio。

import aiohttp import asyncio import aiofiles from pathlib import Path from tqdm.asyncio import tqdm_asyncio class AsyncImageDownloader: def __init__(self, save_dir: Path, max_concurrent: int = 5): self.save_dir = save_dir self.semaphore = asyncio.Semaphore(max_concurrent) # 控制并发数 async def download_single(self, session: aiohttp.ClientSession, img_url: str, save_path: Path, pbar: tqdm_asyncio): """ 下载单张图片 """ async with self.semaphore: # 限制并发 for retry in range(3): try: async with session.get(img_url, timeout=aiohttp.ClientTimeout(total=30)) as resp: resp.raise_for_status() async with aiofiles.open(save_path, 'wb') as f: await f.write(await resp.read()) pbar.update(1) return True except (aiohttp.ClientError, asyncio.TimeoutError) as e: if retry == 2: print(f"\nFailed to download {img_url} after 3 retries: {e}") return False await asyncio.sleep(1 * (retry + 1)) return False async def download_chapter(self, image_info_list: list, chapter_name: str): """ 下载一个章节的所有图片 :param image_info_list: 包含图片path和可能其他信息的字典列表 :param chapter_name: 章节名，用于创建文件夹 """ chapter_dir = self.save_dir / chapter_name chapter_dir.mkdir(parents=True, exist_ok=True) # 构建真实的图片URL列表 # 假设从 image_info['path'] 和已知的基础URL拼接 base_image_url = "https://i0.hdslb.com/bfs/manga/" tasks = [] connector = aiohttp.TCPConnector(limit=0, ssl=False) # 调整连接器参数 timeout = aiohttp.ClientTimeout(total=300) # 长超时设置 async with aiohttp.ClientSession(connector=connector, timeout=timeout) as session: # 添加必要的请求头到session，如图片服务器可能需要的Referer session.headers.update({'Referer': 'https://manga.bilibili.com/'}) with tqdm_asyncio(total=len(image_info_list), desc=f"Downloading {chapter_name}", unit="img") as pbar: for idx, img_info in enumerate(image_info_list, start=1): img_path = img_info.get('path') if not img_path: continue full_url = base_image_url + img_path save_path = chapter_dir / f"{idx:03d}.jpg" # 格式化命名，如001.jpg task = asyncio.create_task(self.download_single(session, full_url, save_path, pbar)) tasks.append(task) results = await asyncio.gather(*tasks, return_exceptions=True) success_count = sum(1 for r in results if r is True) print(f"Chapter [{chapter_name}] finished: {success_count}/{len(image_info_list)} images downloaded.")

关键点与避坑：

1. 并发控制（Semaphore）：使用信号量限制同时发起的下载请求数量。设置太高（如50）会疯狂占用带宽，也容易被服务器限制；设置太低（如1）则失去了异步的优势。max_concurrent=5是一个比较平衡的起点，可以根据网络情况调整。
2. 超时设置：下载图片可能很慢，尤其是大图。aiohttp.ClientTimeout(total=300)将总超时设置为5分钟，避免单个慢请求卡死整个程序。
3. 连接器（TCPConnector）：limit=0表示不限制连接池大小，让信号量来控制并发。ssl=False在某些环境下可以避免SSL证书验证问题，但会降低安全性，生产环境应谨慎使用。
4. 错误重试：在download_single方法中，我们对网络错误进行了最多3次重试，每次重试间隔递增。这能有效应对偶发的网络波动。
5. 进度反馈：使用tqdm库添加进度条，让漫长的下载过程有直观的反馈，体验好很多。
6. 图片URL拼接：base_image_url需要根据实际情况确定。有时不同的漫画或章节可能使用不同的CDN域名，这需要更复杂的逻辑来处理。一个更健壮的方法是从其他接口（如漫画详情接口）动态获取这个基础URL。

4.4 主程序逻辑（main.py）

最后，我们把所有模块串联起来。

import asyncio from pathlib import Path from spider.api_client import BilibiliMangaAPIClient from spider.downloader import AsyncImageDownloader from spider.utils import parse_ep_id_from_url async def main(): # 1. 配置 YOUR_COOKIE = "从浏览器复制的完整Cookie字符串" # 务必替换！ COMIC_ID = 123456 # 漫画ID，从漫画主页URL获取 SAVE_ROOT = Path("./downloads") # 2. 初始化客户端 client = BilibiliMangaAPIClient(cookie=YOUR_COOKIE) # 3. 获取漫画详情和章节列表 print("Fetching comic details...") detail = client.get_manga_detail(COMIC_ID) if not detail: print("Failed to get comic detail. Check your cookie and network.") return comic_title = detail.get('title', f"comic_{COMIC_ID}") save_dir = SAVE_ROOT / comic_title save_dir.mkdir(parents=True, exist_ok=True) episodes = detail.get('ep_list', []) print(f"Found comic: {comic_title}, total {len(episodes)} episodes.") # 4. 遍历章节并下载 downloader = AsyncImageDownloader(save_dir, max_concurrent=3) # 保守的并发数 for ep in episodes: ep_id = ep.get('id') ep_title = ep.get('title', f"ep_{ep_id}") print(f"\nProcessing chapter: {ep_title} (ID: {ep_id})") # 检查是否已下载（简易版，根据文件夹存在判断） ep_save_dir = save_dir / ep_title if ep_save_dir.exists() and any(ep_save_dir.iterdir()): print(f" Chapter already exists, skipping.") continue # 获取图片索引 images_data = client.get_chapter_images(ep_id) if not images_data or 'images' not in images_data: print(f" Failed to get image index for chapter {ep_id}.") continue image_list = images_data['images'] print(f" Found {len(image_list)} images.") # 异步下载该章节 await downloader.download_chapter(image_list, ep_title) print("\nAll tasks completed!") if __name__ == '__main__': asyncio.run(main())

这个主程序流程清晰：配置 -> 初始化 -> 获取元数据 -> 遍历章节 -> 下载。其中加入了简单的“跳过已下载章节”的逻辑，避免重复工作。

5. 高级话题与长期维护策略

一个能跑起来的爬虫只是开始。要想让它稳定、可用、可持续，还需要考虑更多。

5.1 应对反爬升级：动态签名与行为模拟

如前所述，硬编码的签名头是最大的弱点。长期的解决方案包括：

• 逆向与模拟：深入分析前端JS，用Python复现签名算法。这可能涉及execjs调用JS代码，或者用requests-html、selenium等工具无头运行浏览器来获取动态Token。复杂度高，但一劳永逸。
• 中间人代理：使用mitmproxy等工具，在本地架设一个代理。让浏览器正常通过这个代理访问B站漫画，然后在代理层截获所有请求，直接提取出有效的签名和Cookie，供爬虫程序使用。这样爬虫本身无需关心签名生成，但需要一直开着浏览器和代理。
• 定期人工更新：对于低频使用的个人脚本，每次运行前手动抓包更新config.py里的请求头，是最简单粗暴但也最有效的方法。

5.2 效率优化：分布式与增量更新

如果要下载整个漫画库，效率至关重要。

• 任务队列：将不同漫画、不同章节的下载任务放入队列（如Redis），由多个工作进程/协程消费。可以轻松实现横向扩展。
• 增量爬取：记录已下载章节的ep_id到数据库或文件。每次运行只获取漫画的最新章节列表，与记录对比，只下载新增的章节。
• 连接复用与池化：确保aiohttp.ClientSession在整个应用生命周期内复用，并合理配置连接池参数。

5.3 道德、法律与风险规避

这是最重要的一部分。

• 遵守Robots协议：检查https://manga.bilibili.com/robots.txt。即使没有明确禁止，也应保持克制。
• 控制请求频率：在代码中主动添加延迟（asyncio.sleep），模拟人类阅读速度。避免在短时间内发起海量请求，这既是道德要求，也能有效降低被封IP的风险。我的代码中将并发数设得比较低（3-5），就是一种频率控制。
• 明确用途：本代码及教程仅用于个人学习Python网络爬虫技术，以及个人对已购买章节的备份收藏。请勿用于：
  • 大规模抓取并建立镜像站。
  • 在第三方平台传播抓取内容。
  • 任何商业用途。
• 尊重版权：下载的内容请妥善保存在个人设备中。优秀的作品值得支持，如果条件允许，请在B站漫画平台购买正版，支持创作者和平台。

5.4 代码维护与社区

爬虫是与平台防御措施持续对抗的过程。B站的接口和签名机制很可能在未来发生变化。因此：

1. 关注变化：当爬虫突然失效时，首先检查Cookie是否过期，然后重新抓包，对比请求参数和头信息有何变化。
2. 模块化设计：将API请求、签名生成、下载逻辑分离。当签名算法改变时，你只需要修改api_client.py中的相关部分。
3. 利用开源社区：我将这个项目的核心代码开源在了Github（链接见文末）。如果你在运行中遇到问题，可以在项目Issues中提出。同时，也欢迎有能力的开发者贡献代码，共同维护这个项目，例如实现自动化的签名破解。

研究并实现一个B站漫画爬虫，是一次非常综合的技术练习，它涵盖了HTTP协议、前端逆向、异步编程、错误处理、工程化设计等多个方面。希望这篇长文不仅能帮你成功下载到想看的漫画，更能让你理解爬虫技术背后的原理、挑战和边界。技术是用来解决问题的，但务必在合法合规、尊重他人的前提下使用。