做爬虫开发三年多，我最头疼的事儿，就是爬公开数据的时候突然被封——前一秒还好好的采集数据，下一秒就弹出403禁止访问，要么就是跳验证码，更坑的是有时候本机IP直接被拉黑，连目标网站都打不开，忙活大半天全白费，相信做过爬虫的朋友，都懂这种崩溃感。
刚开始遇到IP被封，我也是瞎忙活：随便找个免费代理就换，频繁改请求头，结果不仅没解决问题，反而把IP搞成了永久黑名单。后来踩的坑多了，慢慢摸索出一套思路，就是“先找清楚被封的原因，再针对性解决，最后做好防护”，现在用这套方法爬公开数据，基本不会被封，就算偶尔触发反爬，也能快速救回来。
一、先搞懂：爬公开数据为什么会被封？
很多朋友跟我一样，一开始都会疑惑：“我爬的是公开数据，又没干啥坏事，凭啥封我？”其实网站的反爬，不管数据公不公开，核心就一个——阻止“不正常的机器流量”。咱们的爬虫行为，跟普通人浏览网页差别太大，网站的安全系统一眼就能看出来，自然就会触发封禁。结合我踩过的坑，被封主要就4种情况，每种情况的表现都不一样，大家可以对号入座：
1. 最常见：请求太频繁
这是我刚学爬虫时最常踩的坑！为了快点拿到数据，我没设置任何间隔，一个IP每秒发十几次请求，可正常人浏览网页，每秒撑死1-2次，这种“猛刷”式爬取，网站不封你才怪。
表现也很明显：突然就出现403错误，或者页面提示“访问过于频繁，请稍后再试”，等个几分钟、几小时，再用同一个IP访问，可能会恢复，但一继续爬，立马又被封。这是网站最基础的反爬手段，就是限制单个IP单位时间内的请求次数，拦截这种明显的爬虫流量。
2. 最容易忽略：请求头太“机器”
刚开始我用Python的requests库爬数据，没管请求头，后来才发现，它默认的User-Agent是“python-requests/2.25.1”，这明摆着告诉网站“我是爬虫”，不封你封谁？除此之外，要是少了Cookie、Referer这些字段，或者请求头一直不变，也会被判定为异常。
这种封禁的表现很特别：用爬虫爬就返回403、空白页，或者跳验证码，但用浏览器手动打开目标网站，却一切正常。说白了，网站就是通过请求头，区分“真人”和“机器”，哪怕你请求频率不高，请求头不对，照样被封。
3. 最棘手：IP本身就有问题
后来我知道用代理IP解决封禁，就随便找了些免费代理，结果发现很多代理刚用就被封——后来才明白，这些免费IP都是共享的，之前被其他爬虫用来高频爬取，早就被网站拉进黑名单了，属于“天生带坑”的IP。另外，一个IP发起太多并发连接，把网站服务器的资源占满，也会被防火墙拦截。
表现也很坑：用代理IP一访问目标网站就被封，换好几个免费代理都没用，甚至有些代理还会牵连本机IP，导致本机也被封。这种情况跟请求频率、请求头没关系，纯粹是IP本身的问题，也是我踩过最亏的坑之一。
4. 容易被忽视：行为太机械
现在很多网站的反爬都升级了，不光看请求频率和请求头，还会盯着你的行为轨迹。正常人浏览网页，会随便点一点导航、停留一会儿，翻页间隔也不固定，但爬虫大多是“一根筋”——只爬目标数据接口，不看其他页面，翻页间隔也一成不变，这种机械的行为，很容易被深度反爬系统识别。
表现就是：刚开始爬几分钟好好的，爬着爬着突然被封，或者弹出滑动验证码、点选验证码，手动验证后能临时恢复，但爬虫不会自动验证，采集就被迫中断。这种封禁针对的是“行为模式”，就算你换了IP、改了请求头，也很难避开，得模拟真人的浏览习惯才行。
二、实测有效：爬虫被封后，分步解决
其实遇到被封不用慌，我总结了一套流程，按照“紧急恢复→排查优化→长效防护”来操作，最快10分钟就能恢复采集，还能避免以后再被封。下面这些方法，都是我反复实测过的，不管你是新手还是有经验的老鸟，都能直接套用，每一步都配了代码示例，一看就会。
第一步：紧急恢复——快速解除当前封禁，先把数据采起来
被封后别着急改代码，先做这2件事，能快速恢复采集，避免瞎操作加重封禁，亲测有效！
1. 先判断：是IP被封，还是请求头有问题
很简单，用本机浏览器直接打开目标网站：如果能正常访问，说明是爬虫的请求头、行为轨迹出了问题；如果浏览器也打不开，提示403或“访问受限”，那就是IP被封了（要么是本机IP，要么是你用的代理IP）。
- 要是IP被封：立马停止爬虫，关掉代理（如果用了），等1-2小时，临时封禁一般都会自动解除；如果是本机IP被封，应急的话可以切换手机热点（用手机流量，相当于换了个IP），先把紧急数据采完，后续再优化IP策略。
- 要是请求头有问题：停止爬虫，改一改请求头（后面会讲具体怎么改），重启爬虫，基本就能立马恢复。
2. 应急技巧：用浏览器模拟工具临时救急
如果着急采集数据，没时间慢慢优化，推荐用Selenium或Playwright，这两个工具能模拟真人用浏览器浏览，请求头、Cookie都会自动生成，和手动操作几乎一样，能快速绕过基础反爬，我应急的时候经常用。
给大家放一个简单的Selenium示例（Python），新手直接复制就能用，不用改太多东西：
from selenium import webdriver from selenium.webdriver.chrome.options import Options import time import random # 配置浏览器选项，模拟真人浏览 chrome_options = Options() chrome_options.add_argument("--headless=new") # 无头模式，不弹出浏览器窗口，不影响操作 chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36") # 启动浏览器，访问目标网站 driver = webdriver.Chrome(options=chrome_options) driver.get("https://目标网站.com") # 把这里换成你的目标网站就行 # 模拟真人停留1-3秒，别太机械 time.sleep(random.uniform(1, 3)) # 采集数据（示例：获取页面标题） title = driver.title print("采集到的标题：", title) # 关闭浏览器 driver.quit()提醒一句：这个方法适合应急，长期用的话，占用资源多，速度也慢，后续还是得好好优化爬虫本身哦。
第二步：核心优化——从根源解决，避免再次被封
紧急恢复后，一定要优化爬虫，不然下次爬还是会被封。这一步是重点，我分4个维度来讲，都是我踩坑总结出来的干货，每个维度都有具体方法和代码，新手也能轻松上手。
优化1：控制请求频率，别再“猛刷”数据
这是最基础、也最有效的优化，能解决大部分高频封禁问题。核心就是：给爬虫加个随机间隔，别让它一直发请求，模拟真人翻页、浏览的节奏，一般每秒不超过1次请求就好。
具体做法也很简单：用time模块的sleep函数，结合random模块，生成1-5秒的随机间隔，反爬松的网站可以短一点，反爬严的就长一点，灵活调整。
给大家放个Python requests库的示例，直接套用就行：
import requests import time import random # 目标URL（示例） url = "https://目标网站.com/api/data" # 循环采集（模拟翻页） for page in range(1, 10): try: # 发送请求 response = requests.get(url, params={"page": page}) # 先判断状态码，避免无效请求 if response.status_code == 200: data = response.json() # 处理数据（这里省略，根据自己的需求改） print(f"采集第{page}页数据成功") else: print(f"第{page}页请求失败，状态码：{response.status_code}") time.sleep(10) # 请求失败，多等一会儿，别连续出错 # 随机间隔1-5秒，模拟真人翻页 time.sleep(random.uniform(1, 5)) except Exception as e: print(f"采集出错：{e}") time.sleep(15) # 出错后多等会儿，避免频繁重试被封补充一句：要是想快点采集，别提高请求频率，那样只会被封，不如用后面讲的多IP轮换，既快又安全。
优化2：伪装请求头，让爬虫“装成”真人浏览器
解决请求特征异常的关键，就是让爬虫的请求头和真人浏览器一模一样，而且要随机切换，别一直用同一个，不然还是会被识别。重点要包含4个字段：User-Agent、Accept、Referer、Cookie，其中User-Agent要随机换，Cookie可以从浏览器里复制，模拟已登录状态，能大大降低被封概率。
我推荐用fake-useragent库，不用手动维护User-Agent列表，它能自动生成不同浏览器、不同系统的标识，特别方便，安装命令就是：pip install fake-useragent。
代码示例给大家放这了，直接复制，替换一下Cookie和目标网站就行：
import requests from fake_useragent import UserAgent import random # 初始化UA生成器（禁用缓存，避免报错，亲测加这句能少踩坑） ua = UserAgent(use_cache_server=False) # 构建随机请求头，每次请求都不一样 def get_random_headers(): headers = { "User-Agent": ua.chrome, # 随机生成Chrome浏览器UA，也可以选ua.firefox/ua.safari "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Referer": "https://目标网站.com/", # 一定要和目标网站一致，模拟从首页跳转过来 "Cookie": "替换为你从浏览器中复制的Cookie", # 从浏览器F12的Network里复制，模拟登录 "Accept-Language": "zh-CN,zh;q=0.8,zh-TW;q=0.7" } return headers # 发送请求 url = "https://目标网站.com/api/data" headers = get_random_headers() response = requests.get(url, headers=headers) # 可选：验证一下UA是不是生效了 print("当前使用的UA：", headers["User-Agent"]) print("网站接收的UA：", response.json()["headers"]["User-Agent"])避坑提醒：别一直用同一个UA，每次请求都重新生成；如果fake-useragent报错，加上use_cache_server=False就能解决；Cookie要定期更，不然过期了，也会请求失败或被封。
优化3：用代理IP池，解决IP封禁的难题
这是解决IP封禁最有效的方法，没有之一！核心思路就是：用不同的IP轮流发送请求，让网站认不出是同一个爬虫在操作。但要注意，代理IP的质量很关键，免费代理大多不稳定、纯净度低，刚用就被封，我建议优先用付费代理，或者自己搭个代理池，靠谱多了。
具体做法：1. 搭建可用的代理池（也可以直接用站大爷这类靠谱的代理IP池，能云端自动切换IP，省事儿）；2. 每次请求前，随机选一个代理IP；3. 检测代理是不是有效，把失效的删掉，避免用无效代理导致被封。
给大家放一个简易代理池的代码示例（Python），包含代理获取、有效性检测和随机调用，新手可以参考着改：
import requests from fake_useragent import UserAgent import random import time import re # 1. 获取代理（以站大爷为例，免费、付费代理都有API可以直接获取） # 注意：站大爷部分API参数不完整会报错（如返回参数不完整或有错误），建议直接访问官网获取可用代理 # 官网地址：https://www.zdaye.com/free/ # 2. 检测代理是否有效（用百度测试，能访问百度就说明代理可用） def check_proxy(proxy, target_url="https://www.baidu.com"): try: # 超时设为5秒，避免无效代理卡住程序 response = requests.get(target_url, proxies=proxy, timeout=5) return response.status_code == 200 # 状态码200就是可用 except: return False # 3. 构建可用代理池 def build_proxy_pool(): free_proxies = get_free_proxies() valid_proxies = [] for proxy in free_proxies: if check_proxy(proxy): valid_proxies.append(proxy) print(f"新增可用代理：{proxy}") time.sleep(1) # 别检测太快，避免被代理网站拦截 print(f"可用代理池做好了，一共{len(valid_proxies)}个可用代理") return valid_proxies # 4. 爬虫调用代理池（随机选一个可用代理） if __name__ == "__main__": proxy_pool = build_proxy_pool() if not proxy_pool: print("没有可用代理，程序退出啦") exit() url = "https://目标网站.com/api/data" headers = {"User-Agent": UserAgent(use_cache_server=False).chrome} # 随机选一个代理 selected_proxy = random.choice(proxy_pool) try: response = requests.get(url, headers=headers, proxies=selected_proxy, timeout=10) if response.status_code == 200: print("采集成功，数据：", response.json()[:100]) # 打印部分数据，看看效果 else: print(f"请求失败，状态码：{response.status_code}") except Exception as e: print(f"代理失效或采集出错：{e}") # 把失效的代理删掉，避免下次再用 proxy_pool.remove(selected_proxy)补充建议：长期采集的话，一定要用付费代理IP，稳定性和纯净度都比免费的好太多，能少踩很多坑；代理IP要定期更，别一直用同一个；如果目标网站反爬特别严，就用独享代理，被封的概率会更低。另外提醒下，站大爷部分API会出现参数错误，直接访问官网获取代理会更稳妥。
优化4：模拟真人行为，绕过深度反爬
如果前面3个优化都做了，还是被封，那大概率是触发了深度反爬，也就是网站检测到你的行为太机械了。这时候就需要让爬虫“装得更像真人”，比如随机停留、随机点击、模拟翻页，别一根筋只爬目标接口，多模拟真人的浏览习惯。
我一般用Selenium或Playwright来做，具体方法很简单，给大家列4个关键步骤：
1. 随机停留：每个页面停留1-5秒，别固定时间，模拟真人看内容的节奏；
2. 随机点击：随便点一点页面上的导航、按钮，别只盯着目标数据；
3. 模拟翻页：别直接请求第2、3页的接口，点击页面上的“下一页”按钮翻页，更真实；
4. 适当休息：爬一会儿就停5-10分钟，模拟真人休息，别一直爬。
给大家放一个Selenium模拟翻页和随机点击的示例，直接套用就行：
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.action_chains import ActionChains import random import time # 配置浏览器选项 chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36") driver = webdriver.Chrome(options=chrome_options) # 1. 先访问首页，模拟真人进入网站 driver.get("https://目标网站.com") time.sleep(random.uniform(2, 4)) # 首页停留2-4秒，假装看首页内容 # 2. 随机点击导航按钮，模拟真人浏览 # 假设页面有多个导航按钮，随机选一个点击 nav_buttons = driver.find_elements(By.XPATH, "//div[@class='nav-item']") if nav_buttons: random_button = random.choice(nav_buttons) ActionChains(driver).click(random_button).perform() time.sleep(random.uniform(1, 3)) # 点击后停留1-3秒，假装看详情 # 回到首页，继续采集 driver.back() time.sleep(random.uniform(1, 2)) # 3. 模拟点击下一页翻页，不直接请求接口 page = 1 while page <= 5: # 采集当前页面数据（省略，根据自己需求改） print(f"采集第{page}页数据") time.sleep(random.uniform(1, 3)) # 点击下一页 try: next_page_btn = driver.find_element(By.XPATH, "//button[@class='next-page']") next_page_btn.click() page += 1 time.sleep(random.uniform(2, 4)) # 翻页后停留2-4秒 except: print("已到最后一页，停止采集") break # 4. 爬5页后休息1-2分钟，模拟真人休息 time.sleep(random.uniform(60, 120)) driver.quit()补充一句：如果遇到滑动验证码、点选验证码，新手可以手动验证（适合少量采集），量大的话可以用ddddocr、超级鹰这些工具自动识别；如果网站反爬特别严，用undetected_chromedriver能隐藏自动化特征，能进一步绕过检测，亲测有效。
第三步：长效防护——做好监控，避免再次踩坑
优化完爬虫，不是一劳永逸的，还得做好监控，及时发现问题，不然还是会被封。结合我这几年的经验，做好这3点，就能长期稳定采集，不用再频繁处理封禁问题：
1. 加个状态码监控：在爬虫里加个判断，要是出现403、404、503这些异常状态码，立马停止当前IP的请求，换个代理IP或者暂停爬虫，别连续出错，不然IP容易被永久拉黑；
2. 定期更新请求头和Cookie：网站的反爬会定期升级，请求头和Cookie也会过期，我一般每周更一次User-Agent池和Cookie，确保请求特征一直是真实的；
3. 控制采集总量：别一次性爬太多数据，分时段来，比如上午爬2小时，下午爬2小时，避免长时间高频采集被网站监测到；另外，一定要遵守网站的robots协议，别爬禁止采集的内容，别给自己找事。
三、重要提醒：爬公开数据，合规才是底线
最后，我必须跟大家强调一句：咱们解决爬虫被封的问题，是为了顺利采集公开数据，但绝对不能违反法律法规和网站规则，不然不仅会被封IP，还可能承担法律责任，得不偿失。结合我踩过的坑和国家数据局的相关解读，3个合规要点，大家一定要记牢：
1. 遵守“四不”原则：不非法侵入他人网络、不干扰网络服务正常运行、不破坏有效技术措施、不损害个人和组织合法权益，这是合法采集的底线，绝对不能碰；
2. 尊重网站规则：先看看目标网站的robots协议（在网站域名后面加/robots.txt），别爬协议里禁止的内容；也别过度采集，别给网站服务器造成压力，不然可能构成不正当竞争；
3. 数据用途要合法：采集的公开数据，只能用于个人学习、研究，不能用于商业用途，更不能泄露、出售别人的信息；要是想用于商业用途，一定要获得网站的官方授权，避免侵权。
另外，很多网站都有官方API接口，通过API获取数据，不仅稳定、不会被封，还能保证合规，我现在很多时候都用API，比手动写爬虫省事儿多了，也更安全，建议大家优先用官方API。
四、总结：从频繁被封到稳定采集，我踩过的坑和心得
回顾这三年的爬虫开发经历，我从一开始频繁被封、手足无措，到现在能稳定爬取各类公开数据，最大的心得就是：爬虫反爬，不是跟网站“对着干”，而是“装成”真人，模拟真人的请求频率、请求特征、行为轨迹，让爬虫融入正常流量，网站自然就不会识别和封禁你。
给大家总结一下核心逻辑：遇到被封，先判断是IP被封还是请求头有问题，快速恢复后，从“控制请求频率、伪装请求头、用代理IP池、模拟真人行为”这四个维度优化，最后做好监控和合规，就能彻底解决被封的问题。
对于新手来说，不用一开始就搞复杂的反爬方案，先做好基础优化（控制频率、伪装请求头），再慢慢升级到代理IP池和行为模拟，循序渐进，就能少踩坑、少被封。
最后，希望这篇文章能帮到每一位遇到爬虫被封问题的朋友，祝大家都能顺利采集到需要的公开数据，同时坚守合规底线，让技术发挥正向价值。如果大家有其他反爬技巧，也欢迎在评论区交流，咱们一起避坑、一起进步！
