简介：小飞兔下载10.0是一款面向网页设计师、开发者和数据抓取人员的整站下载工具压缩包，用于快速抓取并备份完整网站内容。压缩包共25个文件，包含20个DLL组件、3个EXE启动程序、1个config配置文件及1个HTML使用说明，整体仅1.19MB。其中HtmlAgilityPack负责解析不规则HTML文档，RestSharp用于发送RESTful请求，Newtonsoft.Json处理JSON数据接口，LiteDB作为轻量数据库管理抓取数据，config和说明文档则便于按需调整运行参数。该工具可高效提取网页文本、图片、脚本等资源，同时清晰的DLL模块划分也方便学习者梳理整站抓取的工具链逻辑。当前已有1623人学习下载，适合需要快速仿站、网站备份或了解扒站原理的读者借鉴。
1. 整站下载这件事，小飞兔下载10.0能帮你省下大半天手工活
接到一个仿站需求，客户指着某企业官网说要做出同款布局。新手第一反应是Ctrl+S保存网页，再F12一个个找图片、抄CSS里的颜色变量，一个页面折腾一下午。用整站下载器——圈里常叫扒站工具——把目标站按原始目录结构拉到本地，改文案改样式直接在本地做，开发周期可以压到原来的三分之一。小飞兔下载10.0就是这类工具里相当省心的一款：填一个URL，它能顺着页面里的链接一层层往下爬，把HTML、CSS、JS、图片、字体全部落到磁盘，再把路径改写成能在本地直接打开的结构。它主要面向三类人：接仿站订单的开发者、需要离线研究竞品站结构的分析员、给客户快速出HTML原型的切图工。核心诉求只有一个：你拿到的是一个能跑的镜像站，不是一堆找不着对应关系的散文件。
2. 整站下载器的抓取链路：从入口URL到本地可浏览镜像，中间做了什么
2.1 一个页面不是单文件：先拆资源结构再动手
很多人以为“整站下载”就是把首页另存为一份带图片的HTML，实测过就知道，这种操作得到的文件打开之后图片依旧在远程服务器上，一旦断网整个页面就废了。真正的整站下载要从资源树的角度理解：一个页面由HTML文档作为根节点，CSS样式表、JavaScript脚本、图片、字体、图标、甚至PDF和视频作为子节点，子节点之间还会互相引用——CSS里用url()引背景图，JS里请求JSON数据，HTML里再用 /> 挂上样式。下载器要做的，是按这些引用关系把全部资源“搬运”到本地，并且让搬完之后的引用关系依然成立。
小飞兔下载10.0的资源识别是按照扩展名分类处理的，界面里虽然只看到几个勾选框，背后对应的是一张完整的类型表。我一般动手前会先把这张表过一遍，确认目标站点用到了哪些类型的文件，免得漏配：
{ "resource_types": { "document": ["html", "htm", "shtml"], "stylesheet": ["css"], "script": ["js", "mjs"], "image": ["jpg", "jpeg", "png", "gif", "webp", "svg", "ico", "avif"], "font": ["woff", "woff2", "ttf", "otf", "eot"], "media": ["mp4", "webm", "mp3", "pdf"] } }这段配置的关键不在于列了哪些格式，而在于“默认不列进去的格式不抓”。比如有些站点会用奇怪的扩展名做皮肤包，或者用.php动态生成图片，如果资源树里没识别到，下载时就会被当成“未知文件”跳过，页面就会缺块。我习惯的做法是先把上面这个清单在界面里全选，跑第一轮，再根据日志里高亮提示的“困惑”扩展名决定要不要加入，而不是一开始就图省事只勾图片和CSS。
2.2 域内域外：全抓还是挑着抓，需要明确边界
一个企业站不会只把素材放在自己域名下。常见的情况是：主站在example.com，图片放在cdn.example.com子域，字体引用fonts.gstatic.com，统计脚本挂在第三方分析平台。对下载器来说，这些域名要不要抓，决定了镜像的体积和最终能否完整离线浏览。
| 资源位置 | 默认策略 | 典型例子 | 漏抓的表现 |
|---|---|---|---|
| 目标主域 | 全部抓取 | 页面、CSS、JS、图片 | 页面打不开或大面积404 |
| 同根域的其他子域 | 默认抓取 | img子域、静态资源子域 | 图片裂、字体丢失 |
| 第三方统计/广告 | 默认跳过 | 统计脚本、广告SDK | 不影响主要界面 |
| 第三方字体/地图 | 按需勾选 | 字体库、地图组件 | 字体回退、地图区域空白 |
这里有一个新手容易踩的“全选陷阱”：为了省事把“抓取所有域名”的开关打开，结果一个企业站抓出四个统计平台的脚本，每个脚本还带着自己的CSS和图片，本地镜像里多出一堆永远用不上的文件，而且这些外链脚本加载时还会向境外域名发请求，镜像打开后控制台一片红。我一般把这组开关固定在“主域+同根子域”这一档，第三方资源单独看，只有字体这种影响视觉的才考虑拉回来。
2.3 路径改写：为什么有人抓完直接能跑，有人抓完白屏
就算文件目录结构完全一致，页面也存在白屏的可能——问题多半出在HTML里的资源引用路径没有改写。一个页面的图片可能有三种写法：相对路径./img/logo.png、根路径/img/logo.png、完整URLhttps://example.com/img/logo.png。浏览器在本地打开时，环境变了，这些路径的“解释方式”全部跟着变。整站下载器成功的关键，就是把这三种引用统一改写成适合本地目录的新相对路径。
# 抓取前页面引用 <img src="/images/logo.png"> # 本地落盘后的目录结构 demo_site/images/logo.png # 下载器改写后的引用 <img src="images/logo.png">这个改写动作看起来简单，但实际有一个容易翻车的点：如果原站页面里用了大量动态拼接的URL，比如JS里写var host = "/api/" + id + "/logo.png"，下载器按静态字符串去替换，根本识别不出来。所以在拿到镜像后，我习惯先打开首页Ctrl+U看源码，搜索还剩多少个src="/开头的位置，那种地方就是路径改写漏掉的地方，后续需要手动补。测试站抓得多了会发现，能做到“抓完就能跑”的下载器，本质是把路径改写做得很彻底的下载器，不是抓取速度最快的下载器。
3. 下载前的三个关键配置：深度、并发、资源过滤缺一不可
3.1 抓取深度：默认3最稳，抓大站降回2，抓小站最多4
抓取深度理解起来很直接：入口首页是第1层，首页上的链接指向的页面是第2层，第2层页面里的链接再指向第3层。但实际执行中被深度坑过的人不少。某次模拟项目X的存档页，看起来只有首页和产品页，我开着深度5去抓，结果把面包屑导航、热门标签、分页链接全带出来了，最后下载了上千个HTML——目标站实际只有30个页面。
{ "crawl_depth": 3, "max_pages": 500, "ignore_query_string": false }这里crawl_depth控制的是链条深度，不是文件数量。max_pages是总页面数上限，防止抓取任务失控后无限膨胀。ignore_query_string是“网址带参去重”开关：关掉它时，/list.php?page=2和/list.php?page=3会被当成两个URL各自抓一遍，遇到站内搜索排序参数，很容易爆量；开启后下载器只保留第一个带参URL，后面的合并处理。对普通展示站，我建议深度设3、上限500、查询串去重开起来。如果目标是研究一个大型商城站的页面骨架，深度反而要降到2，只抓频道页和列表页就够了，商品详情页的骨架直接从列表页HTML里提取即可，没必要深钻。
3.2 并发和访问间隔：抓太快被限流，抓太慢一个站跑一小时
扒站工具被对方服务器“拦腰斩断”是高频事故，其中大头就是并发配太激进。并发指的是同时打开的下载连接数，数值越大下载越快，但服务器端的访问日志也越难看。一个正常的访客在同一秒内不会向服务器发起几十个请求，当你设置的并发超过一定阈值，接入层的风控开始拦截，表现就是抓取日志里突然出现成片的403、429状态码。
{ "concurrency": 8, "request_timeout": 15000, "retry_count": 3, "min_interval": 600, "max_interval": 1800 }参数含义逐个拆开讲：concurrency建议起步8，别超过12；request_timeout是单个请求的等待上限，15秒比较宽容，目标站慢的时候它能兜底；retry_count是失败重试次数，设3次就够，重试太多反而更容易被列入可疑IP；min_interval和max_interval组合出一个随机访问间隔，框架内部每次请求前取这两个数之间的随机值作为停顿，模拟人工浏览节奏。我自己的踩坑经历是某次为了快点跑完，把并发提到了30、间隔固定为0，结果抓到第200个文件时对方直接封了IP段，整个任务报废。从那以后我固定先跑20个文件试水，观察请求的成功率分布，确认没有明显的429再往上加并发。小站点静态文件多，10并发跑完就两分钟；带接口的大站，宁可用8并发慢慢拖，也别贪快。
3.3 资源过滤：不要什么文件都往本地拿
一个看起来只有几十页的展示站，可能挂了几个几十MB的PDF、一段宣传视频，或者图片全是大尺寸原图。如果下载器不过滤，镜像体积轻松上GB，而这对于一个只需要研究页面结构的仿站任务来说，大部分是垃圾。
{ "filters": { "exclude_extensions": ["mp4", "mov", "zip", "exe", "apk"], "max_file_size_mb": 10, "skip_by_directory": ["/admin/", "/user/", "/cart/", "/api/"] } }exclude_extensions按扩展名硬排除，视频压缩包安装包全不要；max_file_size_mb按体积兜底，超过10MB的资源文件一律跳过，适合拦截那些伪装成图片的PDF或高清原图；skip_by_directory是目录黑名单，看到URL里包含这些路径就直接绕开，不进该目录抓取。这里要特别说明一下黑名单的价值：很多站点的后台、用户中心、购物车路径是独立目录，爬进去抓回来的HTML带登录状态校验，本地打不开不说，还浪费时间。设置黑名单的时机在首轮抓取之前，先看一眼目标站导航栏的链接规律，把明显的动态路径填进去；如果先抓了才发现垃圾多，唯一的后悔药就是清空重跑，因为下载器只会增量覆盖文件，不会自动删除你本地多余的旧文件。
4. 实战：把一个展示型站点完整抓到本地并跑起来
4.1 动手前先做三件事：确认目标、选对落盘目录、清理旧镜像
正式配置之前先明确边界：我这里说的是在授权范围内、对测试环境的目标站做结构验证，别拿去抓他人未授权的站点。确定可以动手之后，第一件事是检查落盘目录，目录路径不能有中文、不能有空格，否则后续做批量替换或路径拼接时很容易踩字符编码的雷，比如D:\仿站\目标网站这种路径格式，不推荐。第二件事是清空目标目录，使用工具重新抓取时，它默认只会覆盖同名文件，不会删除上次的残留，新旧文件混在一起会让最终结果变得难以判断。
# Windows 演示环境 rem 清理旧的演示镜像，避免新旧文件混杂 rmdir /s /q D:\workspace\clones\demo_site mkdir D:\workspace\clones\demo_site顺带解释为什么必须先清空再重建：曾经为了偷懒，直接在旧目录上追加抓取一次更新后的站点页面，结果目录里多出一批已废弃的旧页面，本地预览时点击导航，浏览器打开的可能是旧结构的页面，排查了大半天才意识到是目录残留问题。现在每次抓取前强制走“删旧建新”这两步，目录脏了就先清空，不要靠肉眼对照文件清单。
4.2 配置任务参数并执行：日志比进度条更值得盯
小飞兔下载10.0的界面交互比较直观，对应到技术参数上，下面这份JSON就是一次完整任务的映射。界面里的“采集深度”“并发数”“请求间隔”“资源类型”“目录黑名单”，分别对应这段配置中的各项数值：
{ "entry_url": "https://demo-site.example.com/", "output_dir": "D:/workspace/clones/demo_site", "crawl_depth": 3, "concurrency": 10, "min_interval": 600, "max_interval": 1800, "resource_types": ["html", "css", "js", "image", "font"], "skip_by_directory": ["/admin/", "/api/", "/cart/", "/login"] }执行时不要只盯着顶部进度条看百分比，打开日志面板看三个字段：fetched表示成功拉取的文件数，skipped表示被过滤器拦下来的文件数，errors表示请求失败的次数。如果errors在任务中后期持续增加且状态码集中在403、429附近，说明并发压得偏高了，先把任务暂停，把并发降半再继续；如果skipped的数量远超fetched，检查一下是不是过滤器配置太严，比如把目标站的图片目录误写进了skip_by_directory——这种情况的表现是页面能下载，但图片和样式大面积丢失。
4.3 本地验证：起一个HTTP服务，验证结构和样式完整性
抓取结束后不要直接在资源管理器里双击HTML文件预览，部分浏览器的本地文件协议下，JS模块加载和CSS字体文件会触发跨域拦截，导致页面看起来“没样式”。正确做法是在镜像根目录起一个本地静态服务，再用浏览器访问127.0.0.1端口号：
cd D:\workspace\clones\demo_site python -m http.server 8080浏览器打开http://127.0.0.1:8080/之后，按这个清单逐项核对：首页的轮播图是否显示完整，导航栏里二级栏目是否能点通且URL不带远程域名，子页面的CSS是否一致，字体图标有没有被替换成方块。同时按下F12打开控制台看有没有404记录。控制台报404的位置，基本就是路径改写漏掉的地方，需要回到任务配置里补抓或者手动修正HTML。这一步通常能发现两类问题：一类是CSS里的背景图漏抓，一类是JS异步加载的图片目录被黑名单误伤。把这两类在验证阶段解决掉，镜像才算真正交付得起。
5. 常见问题与避坑清单：扒站最容易翻车的五个真实场景
5.1 抓下来全是乱码：编码识别错了
抓完打开首页一看，中文全是新之类的乱码，偶尔还会出现问号加方块的组合。多数情况下是目标站HTML里没有显式声明charset，下载器默认按UTF-8去解码GBK编码的字节流，结果整页源码错位。解决方法是先抓一个最小页面，用编辑器打开后看文件头和<meta>标签，识别出真实编码；如果页面确实没有charset声明，在下载器设置里把“默认页面编码”手动改成目标编码，重新抓一次，不要在原目录上覆盖，清空重建以后再跑。
5.2 页面能打开但图片裂了一部分：CSS里的路径漏改写
HTML里的img标签全正常，但页面上某些装饰背景图是裂的，右键查看图片地址，发现路径仍然指向原始站的绝对路径。原因在于HTML引用会被下载器顺手改写，但CSS文件里的background: url(../images/bg-2024.png)这类写法，相对路径的基准目录计算错了，下载器补的前缀少了一层目录。解决方法是先按控制台报错地址找到失败文件在磁盘上的实际位置，对照页面CSS目录层级，把下载器“路径补全方式”从“补到站点根”改成“补到引用文件所在目录”，然后重抓样式表文件和缺失的图片，不用整体重跑。
5.3 抓回来一个超大目录：后台、购物车、接口全被带回来了
目标站看着就二三十个页面，抓完一看磁盘里躺着几千个文件，一半是带参数的URL目录，另一半是登录页面和管理后台的HTML。这类事故高发于“深度设太高+查询串去重没开”的组合，尤其是带站内搜索的站，?keyword=配合分页参数能排列组合出几百个只有空壳的页面。解决思路分三步：第一步看日志里URL高频出现的路径前缀，把它们挨个加入skip_by_directory黑名单；第二步把查询串去重开关打开，让带参URL只保留第一层代表页面；第三步把深度降到2或3，重新清空目录抓一轮。下次遇到长得像商城结构的站，提前把后台和购物车路径写进过滤配置，比事后补救省得多。
5.4 抓到一半被限流：错误码从200突然变成403和429
任务前半段一切正常，抓了五六分钟后日志里错误码开始扎堆出现，重试也压不下去，最后整个下载任务报废。这种情况意味着对方服务器的访问频率限制被触发，可能是并发设太高，也可能是访问间隔固定成同一个值，让请求模式失去了“人味”。解决方法是暂停任务，等五分钟冷却后，把并发除以二，同时把延迟从固定600毫秒改成区间随机600到2000毫秒之间再继续。如果目标站防护更严，就换个时段避开业务高峰再跑，不要顶着429反复重试，越重试线索越明显。以后每次抓新站，先小批量试跑几十个文件观察错误率，确认稳定后再把并发拉满。
5.5 镜像站打开后主区域白屏：页面是JS动态渲染出来的
HTML文件确实下载回来了，但浏览器打开后正文区域一片空白，只有导航栏和页脚正常。这种目标站是前后端分离架构，页面结构先加载，正文内容由JS调用接口后写入，下载器把HTML和静态资源搬回来了，接口请求却被过滤器默认丢掉了，等于拿到一具空壳。解决思路有两种：第一种是确认接口的URL规律，把接口前缀加入“额外抓取目录”，让下载器把启动时加载的JSON数据也镜像回来，同时保留对该路径的改写，但镜像的稳定性要看对方接口是否带复杂的加密签名；第二种更简单，找目标站的静态版本——很多CMS有伪静态生成的全静态页面，入口URL和动态站不同，抓静态版本出来的完整度要高得多。判断这类情况有个小技巧：抓取日志里HTML文件数量少而请求失败的接口失败数量多，大概率就是这个原因。
6. 仿站提效：把整站镜像变成可交付HTML模板的四个固定动作
拿到了能跑的镜像，只完成了第一步，把它转化成交付级模板，还需要做四件事：换域名、换品牌、收敛颜色、清掉外部依赖。以下是我每次接仿站订单都要走一遍的处理脚本：
import re from pathlib import Path root = Path(r"D:\workspace\clones\demo_site") old_domain = "demo-site.example.com" for file in root.rglob("*.html"): html = file.read_text(encoding="utf-8", errors="ignore") # 1. 全站域名替换，注意先替换完整域名，防止子目录被误伤 html = html.replace("https://" + old_domain, "") # 2. 品牌名替换，原站标识统一换成新客户占位名 html = html.replace("原有品牌名", "某客户自定义品牌") # 3. 硬编码颜色收敛为CSS变量，方便后续整体换色 hex_palette = ["#2b6cb0", "#3182ce", "#e53e3e"] for hex_code in hex_palette: html = re.sub(hex_code, f"var(--brand-{hex_code[1:]})", html) # 4. 去掉统计类脚本，保留业务需要的功能脚本 html = re.sub(r"<script.*?analytics.*?</script>", "", html, flags=re.S) file.write_text(html, encoding="utf-8")脚本里的替换顺序是固定的：先处理域名，把完整URL替换成相对路径，避免后续做内部链接清理时误删；再处理品牌名，因为部分品牌名会出现在URL参数里，先替换URL结构能减少误匹配；第三步把写死的颜色值替换成CSS变量，这一步依赖前面两步完成后的HTML结构稳定；最后清理统计脚本，它往往行数很长，用正则按analytics关键词匹配整段删除。如果反过来先删脚本再换域名，删完统计脚本之后HTML里残留的域名边界会对不齐，反而更容易留下脏数据。
跑完脚本之后还不能直接交付。我会用本地静态服务把整站再过一遍，确认没有外链依赖，然后打开源码搜索http字样，把还需保留的外链逐个检查，确认不是来自被清理过的统计平台。这个动作虽然机械，但极容易发现“漏网之鱼”——某次交付前客户转告有页面仍加载了旧站统计，就是因为只跑了脚本没做全局搜索复核，从那以后我每次交付前都强制走一遍全站http扫描，这条规矩再也没破过。
整套流程走到这里，一个“抓下来的镜像”才真正变成了“能交付的模板”。整站下载器的价值在于把你从重复的页面保存和代码复制中解放出来，但边界同样要拎清：它输出的是素材和骨架，不是最终成品，能不能让客户满意，取决于替换、清洗、验证这几步有没有做到位。如果你正好需要做一次完整的站点结构镜像，可以拿这份小飞兔下载10.0资源包，按上面的参数表跑一遍，具体能省多少时间，试一次就知道。希望帮到你。
本文还有配套的精品资源，点击获取
