简介：本资源是一份面向Python初学者的网络爬虫入门实践指南，聚焦requests库发起HTTP请求与BeautifulSoup解析HTML的核心技能，帮助零基础或具备基本Python语法能力的学习者快速掌握网页标题（
标签）提取这一典型数据采集任务。压缩包仅含1个14KB的docx文档，内容结构清晰：涵盖环境配置命令、完整可运行代码、逐行注释说明、状态码校验逻辑及常见异常处理提示，并强调robots.txt合规性与反爬伦理等工程实践要点。已有133人学习下载，适合边读边练的沉浸式入门——读者可直接复现示例、理解请求-响应-解析全流程，掌握CSS选择器基础用法，并建立对真实爬虫项目中容错设计与规范意识的初步认知。
1. 抓标题只是起点：一个能跑通、能改写、能防崩的 requests + BeautifulSoup 爬虫骨架
你刚复制粘贴完那段“抓<h1>”的代码，运行后却只打印出空行，或者直接报ConnectionError—— 这不是你手残，是绝大多数人第一次真正把爬虫从教程搬到真实网页时必踩的第一道坎。这个资源不是教你怎么“显示 hello world”，而是给你一个可落地、可调试、可延展的最小可靠骨架：它用requests发请求、用BeautifulSoup解析 HTML，但关键在于——它预埋了状态码校验、编码自动识别、异常兜底、基础反反爬占位和标签容错逻辑。适合刚写完 Python 基础语法、想立刻拿到网页里真实数据的开发者；也适合需要快速验证某个网站结构、为后续 Selenium 或 Scrapy 铺路的中级用户。它不承诺能爬遍全网，但能让你在example.com、公司内网测试页、某高校公开课程列表页这类静态 HTML 场景下，3 分钟内看到真实文本输出，而不是对着报错发呆。这不是玩具脚本，而是我给 A 同学做模拟项目 X 的第一版数据采集模块，后来被复用在 4 个不同源的页面结构分析中——核心逻辑没动过，只改了选择器和 URL。
2. 从零搭起：requests 请求层的健壮性设计与编码陷阱
2.1 为什么不能只写requests.get(url)？三次握手之外的真实世界
初学者常以为requests.get()就是“发个请求”，但真实网络里，它背后藏着 DNS 解析超时、TCP 连接失败、HTTP 响应头缺失、服务器主动断连等至少 7 类常见中断点。如果只写一行r = requests.get(url)，一旦遇到ConnectionTimeout或MaxRetryError，脚本直接崩溃，连日志都看不到。健壮的第一步，是让请求自己会“喊疼”并留下线索。
import requests from urllib.parse import urlparse def safe_get(url, timeout=10, retries=3): """ 带重试、超时、User-Agent 和基础错误分类的日志化请求函数 timeout: 单次请求最大等待秒数（连接+读取） retries: 连接级重试次数（非 HTTP 5xx 重试） """ headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' } session = requests.Session() # 设置重试策略：仅对连接类错误重试，不重试 4xx/5xx from requests.adapters import HTTPAdapter from urllib3.util.retry import Retry retry_strategy = Retry( total=retries, status_forcelist=[429, 500, 502, 503, 504], # 明确哪些状态码才重试 allowed_methods=["HEAD", "GET", "OPTIONS"], backoff_factor=1 # 指数退避：1s, 2s, 4s ) adapter = HTTPAdapter(max_retries=retry_strategy) session.mount("http://", adapter) session.mount("https://", adapter) try: response = session.get(url, headers=headers, timeout=timeout) response.raise_for_status() # 主动抛出 4xx/5xx 异常 return response except requests.exceptions.Timeout: print(f"[ERROR] 请求超时（{timeout}s）: {url}") return None except requests.exceptions.ConnectionError as e: print(f"[ERROR] 连接失败（DNS/网络不通）: {url} | {str(e)[:100]}") return None except requests.exceptions.HTTPError as e: print(f"[ERROR] HTTP 错误（{response.status_code}）: {url} | {str(e)}") return response # 返回响应对象，便于后续分析 body except Exception as e: print(f"[ERROR] 未预期异常: {url} | {type(e).__name__}: {str(e)[:100]}") return None提示：这段代码不是炫技。
session.mount()绑定重试策略，比裸写for i in range(3): try...except更精准；raise_for_status()强制将 4xx/5xx 转为异常，避免你漏掉if r.status_code != 200的判断；User-Agent是最基础的反反爬占位，很多网站会直接拦截无 UA 的请求。实际项目中，我还会加proxies参数占位（即使不用代理，也留接口），方便后续扩展。
2.2 编码乱码？别急着.encode().decode()，先看response.apparent_encoding
你可能遇到过：response.text打印出来全是ä½ å¥½，一通.encode('gbk').decode('utf-8')操作后更乱。根本原因在于requests默认用ISO-8859-1解码响应体，而网页<meta charset="utf-8">或 HTTP 头Content-Type: text/html; charset=gb2312才是真实编码。response.encoding可能为空或错误，必须依赖response.apparent_encoding（基于 chardet 探测）：
def get_clean_text(response): """从 response 对象安全提取可读文本""" if response is None: return "" # 步骤1：优先使用 HTTP 头声明的编码 if response.encoding and response.encoding.lower() != 'iso-8859-1': try: return response.content.decode(response.encoding) except (UnicodeDecodeError, LookupError): pass # 步骤2：fallback 到 apparent_encoding（chardet 探测） detected = response.apparent_encoding if detected: try: return response.content.decode(detected) except (UnicodeDecodeError, LookupError): pass # 步骤3：终极 fallback：忽略错误，强制 utf-8（损失部分字符但不断） return response.content.decode('utf-8', errors='ignore') # 使用示例 url = "https://example.com" resp = safe_get(url) if resp: clean_text = get_clean_text(resp) print("前100字符:", clean_text[:100])参数说明：
errors='ignore'不是偷懒，是生产环境底线——宁可丢几个字，也不能让整个采集流程卡死。apparent_encoding探测准确率约 92%，对中文网页足够；若需更高精度（如古籍 OCR 后处理），再上cchardet替代chardet。
2.3 真实网站的 URL 陷阱：相对路径、重定向、协议混用
example.com是理想国，现实里你拿到的 URL 可能是/news/2024/01/title.html（相对路径）、http://old-site.com/redirect-to-new（301 重定向）、甚至//cdn.example.com/logo.png（协议相对）。requests默认跟随重定向，但response.url才是最终地址，这对后续解析绝对路径 CSS/JS 很关键：
def resolve_final_url(url): """获取重定向后的最终 URL，并标准化协议""" # 先补全协议（若缺失） if not url.startswith(('http://', 'https://')): if url.startswith('//'): url = 'https:' + url # 协议相对 -> https else: url = 'https://' + url.lstrip('/') # 发起 HEAD 请求（不下载 body，快）获取最终 URL try: resp = requests.head(url, allow_redirects=True, timeout=5) return resp.url except: return url # 失败则返回原 URL，不阻断主流程 # 示例：处理常见脏 URL dirty_urls = [ "/article/123", "http://example.com", "//static.example.com/js/main.js", "https://example.com?ref=abc" ] for u in dirty_urls: print(f"{u!r} -> {resolve_final_url(u)!r}")注意：
allow_redirects=True是requests.get()默认行为，但HEAD更轻量；resolve_final_url()返回的是字符串，不是Response对象，避免混淆。这个函数在你批量处理 CSV 里的 URL 列表时，能提前过滤掉 30% 的无效链接。
3. BeautifulSoup 解析层：从<h1>到多级嵌套结构的稳定提取
3.1find_all('h1')为什么经常返回空？选择器失效的三大根源
你以为soup.find_all('h1')就是“找所有 h1”，但实际中它大概率返回[]。原因不在代码，而在 HTML 结构本身：
- 根源1：HTML 不规范——
<H1>、<h1 class="title">、<h1 id="main-title">都合法，但find_all('h1')区分大小写且不匹配带属性的变体； - 根源2：动态渲染—— 页面由 JS 注入
<h1>，requests拿到的是空白骨架 HTML； - 根源3：命名空间污染——
<h1 xmlns="http://www.w3.org/1999/xhtml">这种 XML 命名空间会让find_all失效。
解决方案不是换库，而是升级选择器表达能力：
from bs4 import BeautifulSoup import re def robust_h1_extract(soup): """鲁棒提取 h1 标签文本，覆盖大小写、命名空间、属性变体""" # 方案1：用正则匹配所有 h[1-6] 标签（忽略大小写） h1_candidates = soup.find_all(re.compile(r'^h[1-6]$', re.I)) # 方案2：显式指定命名空间（若存在） ns = {'xhtml': 'http://www.w3.org/1999/xhtml'} if soup.find('xhtml:h1', namespaces=ns): h1_candidates.extend(soup.find_all('xhtml:h1', namespaces=ns)) # 方案3：用 CSS 选择器兜底（支持属性、伪类） # 查找所有含 class 或 id 的 h1/h2/h3（常见标题容器） css_titles = soup.select('h1, h2, h3, [class*="title"], [id*="head"]') h1_candidates.extend(css_titles) # 去重 + 提取文本 texts = [] seen = set() for tag in h1_candidates: # 去重：用 tag.name + tag.get('id','') + tag.get('class','') 生成唯一键 key = f"{tag.name}_{tag.get('id','')}_{str(tag.get('class',''))}" if key in seen: continue seen.add(key) text = tag.get_text(strip=True) if text: # 过滤空文本 texts.append(text) return texts # 使用示例（传入已解析的 soup 对象） # soup = BeautifulSoup(clean_text, 'html.parser') # titles = robust_h1_extract(soup) # print("检测到标题:", titles)逻辑说明：
re.compile(r'^h[1-6]$', re.I)让find_all支持正则，re.I忽略大小写；namespaces=ns显式处理 XHTML 命名空间；soup.select()调用 CSS 选择器引擎，比find_all更灵活。seen集合去重防止同一标签被多个规则重复捕获。
3.2 从单标签到结构化数据：用 CSS 选择器定位复杂区域
抓<h1>是入门，但真实需求往往是“提取文章标题、作者、发布时间、正文前三段”。这需要组合选择器定位容器块，再从中抽取子元素。以某高校课程页为例（结构虚构）：
<!-- 简化示意 --> <div class="course-card"> <h2 class="course-title">机器学习导论</h2> <p class="instructor">授课教师：张老师</p> <div class="meta"> <span class="date">2024-03-01</span> <span class="credit">学分：3</span> </div> <div class="description"> <p>本课程介绍监督学习...</p> <p>涵盖线性回归、决策树...</p> </div> </div>def extract_course_info(soup): """从课程卡片中结构化提取字段""" courses = [] # 定位所有课程卡片容器 cards = soup.select('div.course-card') for card in cards: # 在每个 card 内部相对查找（避免跨卡片污染） title = card.select_one('h2.course-title') instructor = card.select_one('p.instructor') date_span = card.select_one('span.date') desc_ps = card.select('div.description p') # 安全提取：.select_one() 返回 None 而非报错 course = { 'title': title.get_text(strip=True) if title else '', 'instructor': instructor.get_text(strip=True) if instructor else '', 'date': date_span.get_text(strip=True) if date_span else '', 'description': '\n'.join([p.get_text(strip=True) for p in desc_ps[:3]]) # 前三段 } courses.append(course) return courses # 使用 # courses = extract_course_info(soup) # for c in courses[:2]: # print(f"【{c['title']}】{c['instructor']} | {c['date']}")参数说明：
.select_one()是select()的单结果版，查不到返回None，避免IndexError；card.select()是局部作用域查找，比全局soup.select()更精准；desc_ps[:3]控制提取数量，防止单页内容爆炸。这种“容器→子元素”的模式，是处理新闻列表、商品页、论文摘要页的通用范式。
3.3 避坑：BeautifulSoup 解析失败的五个高频现象与修复
| 现象 | 原因 | 解决方案 |
|---|---|---|
AttributeError: 'NoneType' object has no attribute 'get_text' | select_one()或find()返回None，直接调用方法 | 强制判空：elem = card.select_one('h2'); text = elem.get_text(strip=True) if elem else '' |
解析结果为空列表[]，但浏览器能看到元素 | 网页由 JavaScript 渲染，requests拿到的是初始 HTML | 确认是否为静态页：用curl -s URL | head -20查看原始 HTML；若含大量<script>且无内容，需换 Selenium 或分析 API |
中文乱码，get_text()输出 `` 符号 | soup初始化时未指定解析器编码，或response.content解码错误 | 初始化时显式传 encoding：soup = BeautifulSoup(response.content, 'html.parser', from_encoding=response.apparent_encoding) |
find_all()返回重复项（同一标签出现多次） | find_all()默认递归查找所有后代，容器内嵌套相同标签被重复捕获 | 限制层级：find_all('div', class_='item', recursive=False)或用select()配合>直接子元素选择器 |
CSS selector不生效（如div > p返回空） | HTML 实际结构有空格、换行、注释干扰，或bs4版本对 CSS 支持不全 | 降级为 find() 链式调用：card.find('div', class_='meta').find('span', class_='date')，或升级beautifulsoup4>=4.12.0 |
血泪经验：第 3 条乱码问题，我曾花 2 小时调试，最后发现是
response.apparent_encoding返回None，而soup默认用ISO-8859-1解码二进制流。永远用response.content初始化 soup，而非response.text—— 这是 BS4 官方文档强调但 90% 教程忽略的关键点。
4. 工程化封装：把爬虫变成可配置、可复用、可监控的模块
4.1 配置驱动：用 YAML 定义目标网站的解析规则
硬编码选择器（如'h1.title'）会让脚本无法复用。我们把 URL、请求头、选择器、字段映射抽成配置文件config.yaml：
# config.yaml sites: - name: "example_com" url: "https://example.com" headers: User-Agent: "MyCrawler/1.0" timeout: 15 parser: title_selector: "h1" subtitle_selector: "h2" content_selector: "p" - name: "university_news" url: "https://news.univ.edu" headers: User-Agent: "MyCrawler/1.0" Referer: "https://univ.edu" timeout: 20 parser: title_selector: "div.news-header h1" author_selector: "span.author" date_selector: "time.pub-date" content_selector: "div.article-content > p"import yaml from pathlib import Path def load_config(config_path="config.yaml"): """加载 YAML 配置，返回 site 列表""" with open(config_path, 'r', encoding='utf-8') as f: cfg = yaml.safe_load(f) return cfg['sites'] # 使用示例 # sites = load_config() # for site in sites: # print(f"准备爬取 {site['name']}: {site['url']}")优势：新增网站只需改 YAML，不碰 Python 逻辑；
headers和timeout可 per-site 设置；parser下的 selector 字段，直接喂给soup.select()，实现“配置即代码”。
4.2 结构化输出：生成 JSONL（每行一个 JSON）便于后续处理
爬取结果存成.txt或打印到控制台，无法被 Pandas 读取或入库。JSONL（JSON Lines）是大数据场景的事实标准：每行一个独立 JSON，无逗号分隔，可流式读写，兼容 Spark、Logstash、Elasticsearch。
import json from datetime import datetime def save_to_jsonl(data_list, filename): """将数据列表保存为 JSONL 文件""" timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") filepath = f"{filename}_{timestamp}.jsonl" with open(filepath, 'w', encoding='utf-8') as f: for item in data_list: # 自动添加元数据 item_with_meta = { **item, "_crawl_time": datetime.now().isoformat(), "_source_url": item.get('_source_url', ''), "_extractor_version": "1.0.0" } f.write(json.dumps(item_with_meta, ensure_ascii=False) + '\n') print(f"✅ 已保存 {len(data_list)} 条记录到 {filepath}") # 使用示例（假设 extract_course_info 返回列表） # courses = extract_course_info(soup) # save_to_jsonl(courses, "university_courses")注意：
ensure_ascii=False保证中文不转义为\u4f60\u597d；_crawl_time是审计关键字段；JSONL 比 CSV 更适合嵌套结构（如author: {"name": "张老师", "dept": "计算机系"}）。
4.3 日志与监控：用 logging 替代 print，让问题可追溯
print()在脚本里是临时调试手段，上线后必须替换为logging，并分级（INFO/WARNING/ERROR）：
import logging # 配置日志（一次设置，全局生效） logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s', handlers=[ logging.FileHandler('crawler.log', encoding='utf-8'), logging.StreamHandler() # 同时输出到控制台 ] ) # 在关键位置打日志 logging.info(f"开始请求: {url}") resp = safe_get(url) if resp is None: logging.error(f"请求失败: {url}") return [] logging.info(f"请求成功，状态码: {resp.status_code}, 大小: {len(resp.content)} bytes") soup = BeautifulSoup(resp.content, 'html.parser', from_encoding=resp.apparent_encoding) titles = robust_h1_extract(soup) logging.info(f"提取到 {len(titles)} 个标题")提示：
FileHandler写入文件，StreamHandler输出到终端，双保险；%(asctime)s自动加时间戳，排查时按时间排序即可；ERROR 级别日志会触发告警（如邮件、钉钉），这是生产环境底线。
5. 真实场景验证：从 example.com 到某高校课程页的端到端复现
5.1 准备工作：安装依赖与验证环境
确保你有 Python 3.8+，然后执行：
pip install requests beautifulsoup4 pyyaml chardet # 验证安装 python -c "import requests, bs4, yaml; print('✅ 依赖就绪')"参数说明：
chardet是apparent_encoding的底层依赖，某些系统需单独装；pyyaml用于读取配置；beautifulsoup4是核心解析器。不要装bs4（旧包名），必须是beautifulsoup4。
5.2 端到端跑通：以某高校课程页（虚构结构）为例
我们模拟爬取https://courses.univ.edu/list（该页返回静态 HTML，含课程卡片）。先创建config.yaml：
sites: - name: "university_courses" url: "https://courses.univ.edu/list" headers: User-Agent: "CourseCrawler/1.0" Accept: "text/html,application/xhtml+xml" timeout: 15 parser: card_selector: "div.course-card" title_selector: "h2.course-title" instructor_selector: "p.instructor" date_selector: "span.date" desc_selector: "div.description p"再编写主脚本crawler.py：
import requests from bs4 import BeautifulSoup import yaml import json from datetime import datetime import logging # 配置日志 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') def main(): # 1. 加载配置 with open('config.yaml', 'r', encoding='utf-8') as f: config = yaml.safe_load(f) for site in config['sites']: logging.info(f"🚀 开始爬取站点: {site['name']}") url = site['url'] # 2. 发送请求 headers = site.get('headers', {}) timeout = site.get('timeout', 10) response = requests.get(url, headers=headers, timeout=timeout) response.raise_for_status() # 3. 解析 HTML soup = BeautifulSoup(response.content, 'html.parser', from_encoding=response.apparent_encoding) # 4. 提取数据 data = [] cards = soup.select(site['parser']['card_selector']) for card in cards: title = card.select_one(site['parser']['title_selector']) instructor = card.select_one(site['parser']['instructor_selector']) date = card.select_one(site['parser']['date_selector']) desc_ps = card.select(site['parser']['desc_selector']) item = { 'title': title.get_text(strip=True) if title else '', 'instructor': instructor.get_text(strip=True) if instructor else '', 'date': date.get_text(strip=True) if date else '', 'description': '\n'.join([p.get_text(strip=True) for p in desc_ps[:2]]) } data.append(item) # 5. 保存结果 if data: timestamp = datetime.now().strftime("%Y%m%d_%H%M%S") filename = f"{site['name']}_{timestamp}.jsonl" with open(filename, 'w', encoding='utf-8') as f: for d in data: d['_crawl_time'] = datetime.now().isoformat() f.write(json.dumps(d, ensure_ascii=False) + '\n') logging.info(f"✅ 爬取完成，共 {len(data)} 条，保存至 {filename}") else: logging.warning("⚠️ 未提取到任何数据，请检查选择器或网页结构") if __name__ == "__main__": main()执行命令：
python crawler.py预期输出：
2024-03-15 10:30:22 - INFO - 🚀 开始爬取站点: university_courses 2024-03-15 10:30:25 - INFO - ✅ 爬取完成，共 12 条，保存至 university_courses_20240315_103025.jsonl
5.3 验证结果：用 jq 快速查看 JSONL 内容（Linux/macOS）
# 安装 jq（macOS: brew install jq；Ubuntu: apt install jq） # 查看第一条记录 head -1 university_courses_*.jsonl | jq '.' # 统计总条数 wc -l university_courses_*.jsonl # 提取所有标题 jq -r '.title' university_courses_*.jsonl | grep -v "^$"技巧：
jq '.'格式化输出 JSON；-r输出原始字符串（不带引号）；grep -v "^$"过滤空行。这是数据工程师日常检查数据质量的第一步。
6. 进阶技巧：当<h1>不够用时，如何用 CSS 选择器精准定位动态内容
6.1 选择器调试三板斧：浏览器 DevTools → SelectorGadget → 手动验证
你不可能记住所有 CSS 语法，但必须掌握快速验证选择器的方法：
Chrome DevTools（F12）：
Ctrl+Shift+C（Win）或Cmd+Shift+C（Mac）进入元素选择模式- 点击页面元素，右侧
Elements面板高亮对应 HTML - 右键该元素 →
Copy→Copy selector，得到类似#main > div:nth-child(2) > h1的路径 - 在 Console 输入
$$("你的选择器")，看是否返回非空 NodeList
SelectorGadget（浏览器插件）：
- 安装后点击图标，在页面上点选目标元素，它自动高亮匹配项并生成最简选择器
- 支持“加选/减选”，比如点一个标题，它标红所有
<h1>；再点一个无关<div>，它自动排除
Python 内验证：
# 在脚本中临时插入 print("选择器测试:") print("card_selector:", soup.select('div.course-card')) print("title_selector:", soup.select('div.course-card h2.course-title')) # 若返回 []，说明选择器错了，立即调整
玄学提醒：DevTools 的
Copy selector生成的路径往往过长（含:nth-child），易受页面结构调整影响。优先用 class/id 名称，其次用>直接子元素，最后才用:nth-child。例如div.course-list > div.course-item比div:nth-child(3) > div:nth-child(1) > h1稳定十倍。
6.2 处理“伪标题”：从<span class="title">到<h1>的语义升维
真实网页中，标题未必是<h1>。可能是<span class="page-title">、<div role="heading" aria-level="1">，甚至<a href="#" class="header-link">。这时要按语义而非标签名提取：
def semantic_title_extract(soup): """按语义（role/aria-level/class 名称）提取标题，不限于 h1-h6""" candidates = [] # 1. ARIA heading（最高优先级） aria_heads = soup.find_all(attrs={"role": "heading", "aria-level": "1"}) candidates.extend(aria_heads) # 2. class 名称含 title/header/head 的元素 title_classes = ['title', 'header', 'head', 'headline', 'pagetitle'] for cls in title_classes: candidates.extend(soup.find_all(class_=lambda x: x and cls in x.lower())) # 3. <h1>~<h6> 标签（兜底） candidates.extend(soup.find_all(['h1','h2','h3','h4','h5','h6'])) # 去重 + 提取文本 texts = [] for tag in candidates: text = tag.get_text(strip=True) if text and len(text) > 2: # 过滤过短文本（如 "GO"、"OK"） texts.append(text) return list(set(texts)) # 去重 # 使用 # titles = semantic_title_extract(soup) # print("语义标题:", titles)参数说明：
aria-level="1"是无障碍标准中的一级标题；class_=lambda x: ...用 lambda 匹配 class 名含关键词的元素；len(text) > 2过滤导航链接等噪声。这比死守<h1>更贴近真实业务需求。
6.3 终极验证：用diff对比两次爬取，确认选择器稳定性
选择器是否稳定，不能靠肉眼猜。我的习惯是：对同一 URL，间隔 1 小时爬两次，用diff比较 JSONL 输出：
# 第一次爬取 python crawler.py mv university_courses_20240315_103025.jsonl first.jsonl # 等待 1 小时（或手动修改网页结构测试） # 第二次爬取 python crawler.py mv university_courses_20240315_113025.jsonl second.jsonl # 对比差异（只看 title 字段） jq -r '.title' first.jsonl | sort > first_titles.txt jq -r '.title' second.jsonl | sort > second_titles.txt diff first_titles.txt second_titles.txt从那以后我每次上线新选择器，都强制走一遍这个 diff 流程。如果
diff输出大量> 新标题或< 旧标题，说明选择器太脆弱，必须重构。稳定的选择器应该让diff输出为空，或只有预期的增删（如网站真上了新课）。希望帮到你。
本文还有配套的精品资源，点击获取
