Python爬取懂车帝热门车型评论数据实战

1. 为什么需要爬取懂车帝评论数据

最近在研究汽车市场行情，发现懂车帝这个平台上的用户评论特别真实有参考价值。作为一个技术爱好者，我第一反应就是：能不能用Python把这些数据爬下来做个分析？毕竟手动翻页查看几百条评论实在太费时间了。

懂车帝上的车主评论包含了大量一手信息：购车价格、油耗表现、用车体验、售后服务评价等等。这些数据对于想买车的消费者来说价值连城，对汽车行业从业者也是宝贵的研究素材。但平台本身并没有提供批量导出功能，这时候Python爬虫就能大显身手了。

我实际测试发现，用Python爬取懂车帝数据有几个明显优势：

• 可以24小时不间断自动采集，效率远超人工
• 能获取完整的历史数据，不会遗漏早期评论
• 数据可以结构化存储，方便后续分析处理
• 整个过程完全可定制，想爬什么字段自己决定

不过要注意的是，爬取前一定要仔细阅读懂车帝的robots协议，控制好请求频率，避免给服务器造成负担。我建议每次请求间隔至少3秒，这样既不会触发反爬机制，又能稳定获取数据。

2. 环境准备与基础配置

2.1 安装必要的Python库

在开始爬取之前，我们需要准备好Python环境。我推荐使用Python 3.8或以上版本，因为这个版本对异步IO的支持已经很完善了。以下是必须安装的几个库：

pip install requests beautifulsoup4 pandas lxml

• requests：用于发送HTTP请求获取网页内容
• beautifulsoup4：解析HTML文档，提取我们需要的数据
• pandas：后续数据处理和分析会用到
• lxml：BeautifulSoup的解析器，比Python自带的html.parser更快更强大

如果你打算爬取大量数据，还可以考虑安装aiohttp库来实现异步爬取，这样效率会更高。不过对于新手来说，先用同步的方式理解原理更重要。

2.2 分析懂车帝网页结构

打开懂车帝的任意车型页面，比如科鲁泽2022款的详情页，按F12打开开发者工具。通过观察可以发现：

1. 评论数据是通过接口返回的，不是直接渲染在HTML里
2. 每个车型都有唯一的series_id
3. 翻页是通过修改URL中的page参数实现的
4. 评论内容通常包含在class为"tw-grid"的article标签内

理解这些结构特点很重要，因为这会直接影响我们爬虫代码的编写方式。我建议先用浏览器手动访问几个页面，观察URL的变化规律，这样写代码时就能事半功倍。

3. 实战爬取科鲁泽车型评论

3.1 获取车型基础信息

首先我们需要确定目标车型的series_id。这个id通常可以在URL中找到，比如科鲁泽2022款的URL中就有"3094-57238"这样的数字组合。第一个数字是品牌ID，第二个是车型ID。

import requests from bs4 import BeautifulSoup # 基础URL模板 base_url = 'https://www.dongchedi.com/auto/series/score/3094-57238-S0-x-x-x-{}' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' }

这里我添加了User-Agent头，模拟浏览器访问，避免被识别为爬虫。在实际项目中，你可能还需要处理cookies、referer等其他反爬机制。

3.2 实现分页爬取逻辑

懂车帝的评论是分页加载的，我们需要构造一个循环来获取所有页面的数据。根据我的测试，每页大约有10条评论，一般热门车型的评论页数在50页左右。

def crawl_comments(page_count=10): comments = [] for page in range(1, page_count + 1): url = base_url.format(page) try: response = requests.get(url, headers=headers) response.raise_for_status() # 检查请求是否成功 soup = BeautifulSoup(response.text, 'lxml') # 提取评论内容 items = soup.select('article.tw-grid .tw-col-span-40') for item in items: comments.append(item.text.strip()) print(f'第{page}页爬取完成，共获取{len(items)}条评论') time.sleep(3) # 礼貌性延迟 except Exception as e: print(f'第{page}页爬取失败:', e) return comments

这个函数会返回一个包含所有评论的列表。我添加了异常处理和延时逻辑，确保爬虫的稳定性。在实际使用时，你可以根据需要调整page_count参数，控制要爬取的页数。

3.3 数据存储方案

爬取到的数据需要妥善保存。我推荐以下几种存储方式：

1. 文本文件：最简单直接，适合小规模数据

with open('comments.txt', 'w', encoding='utf-8') as f: for comment in comments: f.write(comment + '\n\n')

2. CSV文件：结构化存储，方便后续分析

import csv with open('comments.csv', 'w', newline='', encoding='utf-8') as f: writer = csv.writer(f) writer.writerow(['序号', '评论内容']) for idx, comment in enumerate(comments, 1): writer.writerow([idx, comment])

3. 数据库：适合大规模数据存储，推荐使用SQLite或MongoDB

4. 数据清洗与结构化处理

4.1 使用正则表达式提取关键信息

原始评论数据包含大量文本，我们需要从中提取出有价值的结构化信息。比如购车时间、地点、价格、油耗等。这时候正则表达式就派上用场了。

import re def extract_info(comments): results = [] pattern = re.compile( r'购买车型：(.*?)\s*' r'提车时间：(.*?)\s*' r'购买地点：(.*?)\s*' r'裸车购买价：(.*?)\s*' r'油耗：(.*?)\s*', re.DOTALL ) for comment in comments: match = pattern.search(comment) if match: car_model, buy_date, location, price, fuel = match.groups() results.append({ '车型': car_model.strip(), '购车时间': buy_date.strip(), '购车地点': location.strip(), '裸车价': price.strip(), '油耗': fuel.strip() }) return results

这个正则表达式会匹配评论中的关键信息字段。re.DOTALL标志让.可以匹配换行符，这样即使信息分布在多行也能正确提取。

4.2 数据清洗技巧

原始数据往往存在各种问题，需要进行清洗：

1. 处理缺失值：有些评论可能缺少某些字段

for item in data: if not item.get('油耗'): item['油耗'] = '未知'

2. 统一格式：比如价格可能有"12万"、"12.0万"、"12万元"等多种写法

def standardize_price(price_str): if '万' in price_str: num = re.search(r'[\d.]+', price_str).group() return f'{float(num):.1f}万元' return price_str

3. 去除异常值：过滤掉明显不合理的数据

data = [item for item in data if is_valid(item)] def is_valid(item): try: fuel = float(item['油耗'].replace('L', '')) return 3 < fuel < 20 # 合理的油耗范围 except: return False

5. 数据分析与可视化

5.1 基础统计分析

有了清洗好的数据，我们就可以进行一些简单分析了。首先用pandas加载数据：

import pandas as pd df = pd.DataFrame(data) # 转换数据类型 df['裸车价'] = df['裸车价'].str.extract(r'([\d.]+)').astype(float) df['油耗'] = df['油耗'].str.extract(r'([\d.]+)').astype(float)

现在可以计算一些基本统计量：

print(f"平均裸车价：{df['裸车价'].mean():.2f}万元") print(f"最低油耗：{df['油耗'].min():.1f}L/100km") print(f"最高油耗：{df['油耗'].max():.1f}L/100km") print(f"油耗中位数：{df['油耗'].median():.1f}L/100km")

5.2 使用Matplotlib可视化

数据可视化能更直观地展示分析结果。我们可以绘制油耗分布直方图：

import matplotlib.pyplot as plt plt.figure(figsize=(10, 6)) plt.hist(df['油耗'], bins=15, edgecolor='black') plt.title('科鲁泽2022款油耗分布') plt.xlabel('油耗(L/100km)') plt.ylabel('车主数量') plt.grid(True) plt.show()

还可以按地区分析价格差异：

price_by_region = df.groupby('购车地点')['裸车价'].mean().sort_values() plt.figure(figsize=(12, 6)) price_by_region.plot(kind='bar') plt.title('不同地区裸车价对比') plt.ylabel('平均价格(万元)') plt.xticks(rotation=45) plt.tight_layout() plt.show()

6. 爬虫优化与反反爬策略

6.1 常见反爬机制应对

懂车帝和其他网站一样，都有一些反爬措施。根据我的经验，可能会遇到：

1. IP限制：短时间内大量请求会被封IP

   • 解决方案：使用代理IP池，控制请求频率

2. User-Agent检测：只允许常见浏览器的访问

   • 解决方案：轮换User-Agent

3. 行为检测：如鼠标移动、点击等人类行为

   • 解决方案：使用selenium模拟真人操作

6.2 使用代理IP示例

import random proxies = [ {'http': 'http://123.123.123.123:8888'}, {'http': 'http://111.111.111.111:8888'}, # 更多代理IP... ] def get_with_proxy(url): proxy = random.choice(proxies) try: response = requests.get(url, headers=headers, proxies=proxy, timeout=10) return response except: print(f'代理 {proxy} 失效，尝试下一个') return get_with_proxy(url) # 递归尝试下一个代理

6.3 使用Selenium模拟浏览器

当常规爬取方式失效时，可以考虑使用Selenium：

from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC driver = webdriver.Chrome() driver.get('https://www.dongchedi.com/auto/series/3094') try: comments = WebDriverWait(driver, 10).until( EC.presence_of_all_elements_located((By.CSS_SELECTOR, 'article.tw-grid')) ) for comment in comments: print(comment.text) finally: driver.quit()

这种方法虽然速度较慢，但能有效绕过大多数反爬机制。

7. 项目扩展思路

7.1 多车型对比分析

我们可以修改爬虫代码，使其支持多个车型的数据爬取。只需要准备一个包含各车型ID的列表：

car_models = [ {'name': '科鲁泽2022', 'series_id': '3094-57238'}, {'name': '帝豪2022', 'series_id': '733-54189'}, # 更多车型... ] def crawl_multiple_models(models): all_data = {} for model in models: print(f'开始爬取{model["name"]}...') comments = crawl_comments(model['series_id']) all_data[model['name']] = comments return all_data

这样就能一次性获取多个车型的数据，进行横向对比分析。

7.2 构建自动化监控系统

我们可以把这个爬虫改造成一个长期运行的监控系统：

1. 每天定时爬取新增评论
2. 检测价格波动和用户评价变化
3. 当出现异常情况（如大量负面评价）时发送警报
4. 自动生成周报/月报分析趋势

import schedule import time def daily_job(): new_comments = crawl_comments() analyze(new_comments) send_report() schedule.every().day.at("09:00").do(daily_job) while True: schedule.run_pending() time.sleep(60)

这个系统对汽车经销商或厂商特别有用，可以实时掌握市场反馈。

7.3 情感分析进阶

我们可以使用NLP技术对评论进行情感分析，自动判断用户评价是正面还是负面：

from textblob import TextBlob def analyze_sentiment(comment): analysis = TextBlob(comment) if analysis.sentiment.polarity > 0.1: return '正面' elif analysis.sentiment.polarity < -0.1: return '负面' else: return '中性'

然后统计各车型的好评率：

df['情感倾向'] = df['评论内容'].apply(analyze_sentiment) sentiment_stats = df['情感倾向'].value_counts(normalize=True) print(sentiment_stats)

这样就能量化用户对车型的满意程度，比单纯看油耗、价格更有参考价值。