Python游客行为分析：Django+Scrapy+数据可视化完整项目实战-平芜编程栈

这次我们来看一个完整的Python游客行为分析可视化项目，这个毕业设计结合了Django框架、Scrapy爬虫、数据分析和可视化技术，非常适合计算机专业学生作为综合实践项目。

这个项目的核心价值在于它提供了一个从数据采集到可视化展示的完整解决方案。使用Scrapy框架进行数据爬取，Django作为Web应用框架，配合Python的数据分析库实现游客行为的多维度分析。对于想要学习全栈开发和数据挖掘的开发者来说，这个项目涵盖了现代Web应用开发的关键技术栈。

1. 核心能力速览

能力项	说明
技术栈	Python + Django + Scrapy + 数据分析库 + 可视化库
数据来源	网络爬虫采集或本地数据集
主要功能	游客数据爬取、行为分析、可视化展示、数据挖掘
部署方式	本地开发服务器或生产环境部署
适合场景	毕业设计、学习项目、小型数据分析应用
硬件要求	普通PC即可运行，无需高性能GPU

2. 适用场景与使用边界

这个项目特别适合以下场景：

计算机专业毕业设计项目
学习Django和Scrapy框架的实战案例
中小型旅游景区的游客行为分析
数据分析和可视化技术的学习实践

使用边界需要注意：

爬虫数据采集需遵守网站robots协议和相关法律法规
商业使用需确保数据来源的合法性
大规模数据量可能需要优化数据库性能
涉及个人隐私数据需进行脱敏处理

3. 环境准备与前置条件

在开始项目部署前，需要准备以下环境：

Python环境要求：

Python 3.7及以上版本
推荐使用Anaconda或Miniconda管理Python环境

主要依赖库：

# 核心框架 Django>=3.2 Scrapy>=2.5 # 数据分析 pandas>=1.3 numpy>=1.20 # 数据可视化 matplotlib>=3.4 seaborn>=0.11 plotly>=5.0 # 数据库 sqlite3（默认）或MySQL/PostgreSQL适配器

开发工具建议：

VS Code或PyCharm作为IDE
Git用于版本控制
数据库管理工具（如DBeaver）

4. 项目结构设计与模块划分

一个标准的游客行为分析项目通常包含以下目录结构：

tourist_analysis/ ├── manage.py ├── tourist_analysis/ │ ├── settings.py │ ├── urls.py │ └── wsgi.py ├── crawler/（Scrapy爬虫项目） │ ├── spiders/ │ ├── items.py │ ├── pipelines.py │ └── settings.py ├── analysis/（数据分析模块） │ ├── models.py │ ├── views.py │ ├── utils.py │ └── templates/ ├── visualization/（可视化模块） │ ├── charts.py │ ├── dashboards.py │ └── static/ └── data/（数据目录） ├── raw/（原始数据） ├── processed/（处理后的数据） └── results/（分析结果）

5. Scrapy爬虫数据采集实现

Scrapy框架负责从目标网站采集游客相关数据。以下是一个典型的游客评论爬虫实现：

# crawler/spiders/tourist_behavior.py import scrapy import json from datetime import datetime class TouristBehaviorSpider(scrapy.Spider): name = 'tourist_behavior' allowed_domains = ['example-tourism-site.com'] start_urls = ['http://example-tourism-site.com/attractions'] def parse(self, response): # 解析景点列表页 attractions = response.css('.attraction-item') for attraction in attractions: attraction_url = attraction.css('a::attr(href)').get() yield response.follow(attraction_url, self.parse_attraction) def parse_attraction(self, response): # 解析具体景点页面的游客数据 attraction_data = { 'name': response.css('.attraction-title::text').get(), 'location': response.css('.location::text').get(), 'rating': response.css('.rating::text').get(), 'visitor_count': response.css('.visitor-count::text').get(), 'reviews': [] } # 解析游客评论 reviews = response.css('.review-item') for review in reviews: review_data = { 'user': review.css('.user-name::text').get(), 'rating': review.css('.review-rating::text').get(), 'content': review.css('.review-content::text').get(), 'visit_date': review.css('.visit-date::text').get(), 'timestamp': datetime.now().isoformat() } attraction_data['reviews'].append(review_data) yield attraction_data

爬虫管道处理和数据存储：

# crawler/pipelines.py import json import pandas as pd from itemadapter import ItemAdapter class TouristDataPipeline: def process_item(self, item, spider): # 数据清洗和预处理 adapter = ItemAdapter(item) # 转换数据类型 if 'rating' in adapter: adapter['rating'] = float(adapter['rating']) if adapter['rating'] else 0.0 if 'visitor_count' in adapter: # 处理游客数量字符串（如"1.2万"） visitor_count = adapter['visitor_count'] if '万' in visitor_count: adapter['visitor_count'] = float(visitor_count.replace('万', '')) * 10000 else: adapter['visitor_count'] = int(visitor_count) if visitor_count else 0 return adapter.item

6. Django数据模型设计

Django模型用于存储和管理爬取的数据：

# analysis/models.py from django.db import models from django.contrib.postgres.fields import JSONField # 如果使用PostgreSQL class TouristAttraction(models.Model): name = models.CharField(max_length=200, verbose_name='景点名称') location = models.CharField(max_length=100, verbose_name='所在地') category = models.CharField(max_length=50, verbose_name='景点类别') rating = models.FloatField(default=0.0, verbose_name='评分') visitor_count = models.IntegerField(default=0, verbose_name='游客数量') created_time = models.DateTimeField(auto_now_add=True, verbose_name='创建时间') class Meta: db_table = 'tourist_attraction' verbose_name = '旅游景点' verbose_name_plural = verbose_name class VisitorBehavior(models.Model): attraction = models.ForeignKey(TouristAttraction, on_delete=models.CASCADE, verbose_name='关联景点') user_id = models.CharField(max_length=100, verbose_name='用户ID') visit_date = models.DateField(verbose_name='访问日期') stay_duration = models.IntegerField(verbose_name='停留时长(分钟)') consumption = models.DecimalField(max_digits=10, decimal_places=2, verbose_name='消费金额') rating = models.IntegerField(choices=[(i, str(i)) for i in range(1, 6)], verbose_name='评分') review_content = models.TextField(blank=True, verbose_name='评论内容') behavior_data = models.JSONField(default=dict, verbose_name='行为数据') # 存储详细行为数据 class Meta: db_table = 'visitor_behavior' verbose_name = '游客行为' verbose_name_plural = verbose_name

7. 数据分析核心算法实现

数据分析模块包含多种游客行为分析算法：

# analysis/utils.py import pandas as pd import numpy as np from sklearn.cluster import KMeans from sklearn.preprocessing import StandardScaler import matplotlib.pyplot as plt import seaborn as sns class TouristBehaviorAnalyzer: def __init__(self, data_source): self.df = self.load_data(data_source) self.scaler = StandardScaler() def load_data(self, data_source): """加载游客行为数据""" if isinstance(data_source, str): return pd.read_csv(data_source) else: return pd.DataFrame(list(data_source.values())) def analyze_visitor_patterns(self): """分析游客行为模式""" # 游客停留时长分析 stay_stats = self.df['stay_duration'].describe() # 消费行为分析 consumption_stats = self.df['consumption'].describe() # 评分分布分析 rating_distribution = self.df['rating'].value_counts().sort_index() return { 'stay_duration_stats': stay_stats.to_dict(), 'consumption_stats': consumption_stats.to_dict(), 'rating_distribution': rating_distribution.to_dict() } def cluster_visitor_segments(self, n_clusters=3): """游客分群分析""" features = self.df[['stay_duration', 'consumption', 'rating']] features_scaled = self.scaler.fit_transform(features) kmeans = KMeans(n_clusters=n_clusters, random_state=42) clusters = kmeans.fit_predict(features_scaled) self.df['cluster'] = clusters cluster_profiles = self.df.groupby('cluster').agg({ 'stay_duration': 'mean', 'consumption': 'mean', 'rating': 'mean' }).round(2) return cluster_profiles.to_dict() def seasonal_analysis(self): """季节性分析""" self.df['visit_date'] = pd.to_datetime(self.df['visit_date']) self.df['month'] = self.df['visit_date'].dt.month self.df['season'] = self.df['month'].map({ 12: '冬季', 1: '冬季', 2: '冬季', 3: '春季', 4: '春季', 5: '春季', 6: '夏季', 7: '夏季', 8: '夏季', 9: '秋季', 10: '秋季', 11: '秋季' }) seasonal_stats = self.df.groupby('season').agg({ 'visitor_count': 'sum', 'consumption': 'mean', 'rating': 'mean' }) return seasonal_stats.to_dict()

8. 数据可视化实现

使用Plotly和Matplotlib实现交互式可视化：

# visualization/charts.py import plotly.express as px import plotly.graph_objects as go from plotly.subplots import make_subplots import matplotlib.pyplot as plt import seaborn as sns class TouristVisualization: def __init__(self, analyzer): self.analyzer = analyzer self.df = analyzer.df def create_visitor_trend_chart(self): """创建游客趋势图表""" fig = px.line(self.df, x='visit_date', y='visitor_count', title='游客数量趋势图', template='plotly_white') fig.update_layout(xaxis_title='日期', yaxis_title='游客数量') return fig def create_consumption_analysis_chart(self): """创建消费分析图表""" fig = make_subplots(rows=1, cols=2, subplot_titles=('消费金额分布', '消费与评分关系')) # 消费分布直方图 fig.add_trace(go.Histogram(x=self.df['consumption'], name='消费分布'), row=1, col=1) # 消费与评分散点图 fig.add_trace(go.Scatter(x=self.df['consumption'], y=self.df['rating'], mode='markers', name='消费vs评分'), row=1, col=2) fig.update_layout(title_text='游客消费行为分析', showlegend=False) return fig def create_behavior_cluster_chart(self): """创建行为聚类可视化""" if 'cluster' not in self.df.columns: self.analyzer.cluster_visitor_segments() fig = px.scatter_3d(self.df, x='stay_duration', y='consumption', z='rating', color='cluster', title='游客行为聚类分析', labels={'stay_duration': '停留时长', 'consumption': '消费金额', 'rating': '评分'}) return fig def create_seasonal_analysis_dashboard(self): """创建季节性分析仪表板""" seasonal_data = self.analyzer.seasonal_analysis() fig = make_subplots(rows=2, cols=2, subplot_titles=('各季节游客数量', '平均消费', '平均评分', '游客行为热力图'), specs=[[{"type": "bar"}, {"type": "bar"}], [{"type": "bar"}, {"type": "heatmap"}]]) # 各季节游客数量 seasons = list(seasonal_data['visitor_count'].keys()) visitor_counts = list(seasonal_data['visitor_count'].values()) fig.add_trace(go.Bar(x=seasons, y=visitor_counts, name='游客数量'), row=1, col=1) # 平均消费 avg_consumption = list(seasonal_data['consumption'].values()) fig.add_trace(go.Bar(x=seasons, y=avg_consumption, name='平均消费'), row=1, col=2) # 平均评分 avg_rating = list(seasonal_data['rating'].values()) fig.add_trace(go.Bar(x=seasons, y=avg_rating, name='平均评分'), row=2, col=1) fig.update_layout(height=600, title_text="季节性游客行为分析") return fig

9. Django视图和URL配置

Django视图负责处理前端请求和返回可视化结果：

# analysis/views.py from django.shortcuts import render from django.http import JsonResponse from .models import TouristAttraction, VisitorBehavior from .utils import TouristBehaviorAnalyzer from visualization.charts import TouristVisualization import json def dashboard(request): """主仪表板视图""" attractions = TouristAttraction.objects.all() return render(request, 'analysis/dashboard.html', {'attractions': attractions}) def get_analysis_data(request): """获取分析数据的API接口""" attraction_id = request.GET.get('attraction_id') if attraction_id: behaviors = VisitorBehavior.objects.filter(attraction_id=attraction_id) else: behaviors = VisitorBehavior.objects.all() # 转换为分析器可用的格式 data = { str(i): { 'stay_duration': b.stay_duration, 'consumption': float(b.consumption), 'rating': b.rating, 'visit_date': b.visit_date.isoformat() } for i, b in enumerate(behaviors) } analyzer = TouristBehaviorAnalyzer(data) visualization = TouristVisualization(analyzer) # 生成各种分析图表 analysis_results = { 'trend_chart': visualization.create_visitor_trend_chart().to_json(), 'consumption_chart': visualization.create_consumption_analysis_chart().to_json(), 'cluster_chart': visualization.create_behavior_cluster_chart().to_json(), 'seasonal_dashboard': visualization.create_seasonal_analysis_dashboard().to_json(), 'statistics': analyzer.analyze_visitor_patterns() } return JsonResponse(analysis_results) def export_analysis_report(request): """导出分析报告""" # 实现数据导出功能，支持CSV、Excel格式 pass

URL路由配置：

# tourist_analysis/urls.py from django.urls import path from analysis.views import dashboard, get_analysis_data, export_analysis_report urlpatterns = [ path('', dashboard, name='dashboard'), path('api/analysis-data/', get_analysis_data, name='analysis_data'), path('export-report/', export_analysis_report, name='export_report'), ]

10. 前端模板实现

使用Bootstrap和Plotly.js实现响应式前端界面：

<!-- analysis/templates/analysis/dashboard.html --> <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>游客行为分析系统</title> <link href="https://cdn.jsdelivr.net/npm/bootstrap@5.1.3/dist/css/bootstrap.min.css" rel="stylesheet"> <script src="https://cdn.plot.ly/plotly-latest.min.js"></script> </head> <body> <nav class="navbar navbar-expand-lg navbar-dark bg-dark"> <div class="container"> <a class="navbar-brand" href="#">游客行为分析系统</a> </div> </nav> <div class="container mt-4"> <div class="row"> <div class="col-md-3"> <div class="card"> <div class="card-header">筛选条件</div> <div class="card-body"> <select class="form-select" id="attractionSelect"> <option value="">全部景点</option> {% for attraction in attractions %} <option value="{{ attraction.id }}">{{ attraction.name }}</option> {% endfor %} </select> <button class="btn btn-primary mt-3 w-100" onclick="loadAnalysisData()">分析数据</button> </div> </div> </div> <div class="col-md-9"> <div class="row"> <div class="col-12"> <div class="card"> <div class="card-header">游客趋势分析</div> <div class="card-body"> <div id="trendChart"></div> </div> </div> </div> <div class="col-12 mt-4"> <div class="card"> <div class="card-header">消费行为分析</div> <div class="card-body"> <div id="consumptionChart"></div> </div> </div> </div> <div class="col-12 mt-4"> <div class="card"> <div class="card-header">游客行为聚类</div> <div class="card-body"> <div id="clusterChart"></div> </div> </div> </div> </div> </div> </div> </div> <script> function loadAnalysisData() { const attractionId = document.getElementById('attractionSelect').value; const url = `/api/analysis-data/${attractionId ? '?attraction_id=' + attractionId : ''}`; fetch(url) .then(response => response.json()) .then(data => { // 渲染图表 Plotly.newPlot('trendChart', JSON.parse(data.trend_chart)); Plotly.newPlot('consumptionChart', JSON.parse(data.consumption_chart)); Plotly.newPlot('clusterChart', JSON.parse(data.cluster_chart)); }); } // 页面加载时自动加载数据 document.addEventListener('DOMContentLoaded', loadAnalysisData); </script> </body> </html>

11. 项目部署和运行

本地开发环境运行

# 1. 克隆项目代码 git clone <项目仓库地址> cd tourist_analysis # 2. 创建虚拟环境 python -m venv venv source venv/bin/activate # Windows: venv\Scripts\activate # 3. 安装依赖 pip install -r requirements.txt # 4. 数据库迁移 python manage.py makemigrations python manage.py migrate # 5. 运行爬虫采集数据 cd crawler scrapy crawl tourist_behavior -o data.json # 6. 导入数据到Django python manage.py import_data data.json # 7. 启动开发服务器 python manage.py runserver

生产环境部署

使用Docker进行容器化部署：

# Dockerfile FROM python:3.9 WORKDIR /app COPY requirements.txt . RUN pip install -r requirements.txt COPY . . RUN python manage.py collectstatic --noinput EXPOSE 8000 CMD ["gunicorn", "tourist_analysis.wsgi:application", "--bind", "0.0.0.0:8000"]

Docker Compose配置：

# docker-compose.yml version: '3.8' services: web: build: . ports: - "8000:8000" depends_on: - db environment: - DATABASE_URL=postgresql://user:password@db:5432/tourist_analysis db: image: postgres:13 environment: - POSTGRES_DB=tourist_analysis - POSTGRES_USER=user - POSTGRES_PASSWORD=password volumes: - postgres_data:/var/lib/postgresql/data volumes: postgres_data:

12. 数据挖掘进阶功能

关联规则挖掘

from mlxtend.frequent_patterns import apriori, association_rules def analyze_behavior_associations(df): """分析游客行为关联规则""" # 创建行为事务数据 behavior_transactions = [] for _, row in df.iterrows(): transaction = set() if row['stay_duration'] > 120: # 长时间停留 transaction.add('long_stay') if row['consumption'] > 500: # 高消费 transaction.add('high_spending') if row['rating'] >= 4: # 高评分 transaction.add('high_rating') behavior_transactions.append(transaction) # 使用Apriori算法挖掘频繁项集 te = TransactionEncoder() te_ary = te.fit(behavior_transactions).transform(behavior_transactions) frequent_itemsets = apriori(pd.DataFrame(te_ary, columns=te.columns_), min_support=0.1, use_colnames=True) # 生成关联规则 rules = association_rules(frequent_itemsets, metric="confidence", min_threshold=0.7) return rules.sort_values('confidence', ascending=False)

时间序列预测

from statsmodels.tsa.arima.model import ARIMA from sklearn.metrics import mean_absolute_error def predict_visitor_trends(df): """预测未来游客趋势""" # 按时间聚合数据 daily_visitors = df.groupby('visit_date')['visitor_count'].sum().sort_index() # 训练ARIMA模型 model = ARIMA(daily_visitors, order=(5,1,0)) fitted_model = model.fit() # 未来30天预测 forecast = fitted_model.forecast(steps=30) return { 'historical_data': daily_visitors.to_dict(), 'forecast': forecast.to_dict(), 'model_summary': str(fitted_model.summary()) }

13. 性能优化建议

数据库优化

# 使用数据库索引优化查询性能 class VisitorBehavior(models.Model): # ... 字段定义 ... class Meta: indexes = [ models.Index(fields=['visit_date']), models.Index(fields=['attraction', 'visit_date']), models.Index(fields=['rating']), ]

缓存策略

from django.core.cache import cache from django.views.decorators.cache import cache_page @cache_page(60 * 15) # 缓存15分钟 def get_analysis_data(request): # 视图逻辑 pass

异步任务处理

使用Celery处理耗时的数据分析任务：

# tasks.py from celery import shared_task @shared_task def async_behavior_analysis(attraction_id): """异步执行行为分析""" # 复杂的分析逻辑 return analysis_results

14. 常见问题排查

爬虫数据采集问题

问题：爬虫被网站反爬机制拦截解决方案：

添加合理的请求延迟
使用代理IP轮换
设置User-Agent头部
遵守robots.txt协议

数据库性能问题

问题：数据量增大后查询变慢解决方案：

添加合适的数据库索引
使用数据库查询优化
实现数据分页加载
考虑使用数据库读写分离

可视化图表加载慢

问题：大量数据导致图表渲染缓慢解决方案：

实现数据采样显示
使用前端虚拟滚动
优化图表数据格式
启用服务器端渲染

这个Python游客行为分析项目提供了一个完整的技术栈实践，从数据采集到可视化展示的每个环节都值得深入学习和优化。对于计算机专业学生来说，通过这个项目可以掌握现代Web开发的全流程技术，为未来的职业发展打下坚实基础。

Python游客行为分析：Django+Scrapy+数据可视化完整项目实战