基于Python与Django的新闻舆情分析系统：从数据采集到智能可视化的毕业设计实践-平芜编程栈

如果你是一名计算机专业的学生，正在为毕业设计选题而焦虑，或者你是一名对数据新闻、舆情分析感兴趣的开发者，想用技术手段洞察热点，那么这篇文章就是为你准备的。一个常见的误区是：新闻舆情分析系统就是爬取新闻、做个词云、画几张图表。这往往导致项目流于表面，缺乏技术深度和业务价值，最终沦为“玩具项目”。

本文将为你拆解一个真正有技术含量和实用价值的毕业设计选题：基于 Python 和 Django 的新闻舆情热点分析与可视化系统。这个项目的核心价值不在于“能做”，而在于“如何做得有深度”。我们将重点探讨如何将数据爬取、情感分析、热点挖掘、智能 Agent 与可视化大屏有机结合，构建一个从数据到洞察的完整闭环。读完本文，你将能清晰地规划出你的项目架构，并掌握从零到一实现它的关键技术路径。

1. 这篇文章真正要解决的问题

毕业设计不是简单的功能堆砌，它需要体现你对技术栈的综合运用、对业务问题的理解深度以及工程化能力。一个典型的“新闻舆情分析”项目，如果只停留在爬虫+ECharts，很容易陷入以下困境：

数据价值低：仅展示新闻列表和简单统计，无法回答“舆论风向如何变化”、“核心争议点是什么”等深层问题。
技术栈单薄：只用到了 Requests、BeautifulSoup 和 PyEcharts，难以体现后端框架、数据处理、算法模型等核心能力。
缺乏“智能”元素：在 AI 普及的今天，项目若没有引入 NLP、机器学习或 Agent 思想，会显得过时。
工程化缺失：代码结构混乱，没有考虑任务调度、数据存储优化、前端交互等生产级问题。

因此，本文要解决的核心问题是：如何将一个常见的“新闻分析”想法，升级为一个具备数据挖掘深度、智能分析能力和良好工程实践的毕业设计项目？我们将以 Django 作为后端基石，串联起数据采集、存储、处理、分析与展示的全链路，并重点融入“数据分析 Agent”的设计思想，让你的项目脱颖而出。

2. 核心概念与项目架构设计

在动手编码前，必须理清几个关键概念和整体架构。

核心概念解析：

舆情分析：不仅统计新闻数量，更要分析公众情绪（情感分析）、话题演化（主题模型）、关键人物/实体（命名实体识别）以及观点立场。
热点挖掘：从海量新闻中自动识别出在一段时间内关注度急剧上升的话题。这需要算法支持，如基于时间序列的突发词检测（如 TF-IDF 变种、BERTopic 等）。
可视化：不只是图表，而是通过仪表盘（Dashboard）将复杂的数据关系、趋势和洞察直观呈现，支持交互式探索。
数据分析 Agent：这是项目的“智能大脑”。它是一个程序化的决策单元，可以自动执行一系列预定义或学习得到的分析任务。例如，定时触发热点扫描、对突发事件进行情感追踪、生成舆情简报等。它让系统从“静态报表”升级为“动态感知与响应系统”。

推荐系统架构：一个高可用的毕业设计项目应采用分层架构，清晰解耦各模块职责。

用户交互层 (Presentation Layer) ├── Django 模板 + Bootstrap/ECharts (PC端仪表盘) └── (可选) REST API + Vue/React (前后端分离) 业务逻辑层 & 智能层 (Business & Intelligence Layer) ├── 数据分析 Agent (调度中心、任务执行器) ├── 情感分析模块 (基于 SnowNLP/TextBlob/预训练模型) ├── 热点挖掘模块 (聚类、LDA/BERTopic、突发检测) └── 实体识别模块 (基于 jieba/paddleNLP) 数据处理层 (Data Processing Layer) ├── 数据清洗与预处理管道 ├── 文本向量化 (TF-IDF, Word2Vec, BERT) └── 特征工程 数据持久层 (Data Persistence Layer) ├── MySQL/PostgreSQL (存储结构化数据：新闻元数据、用户) ├── Redis (缓存热点数据、会话、任务队列) └── (可选) Elasticsearch (用于新闻全文检索) 数据采集层 (Data Acquisition Layer) ├── 爬虫调度器 (Scrapy, APScheduler) ├── 新闻源适配器 (多家网站) └── 反爬策略与代理池

这个架构的优势在于：模块清晰，易于扩展（如新增分析算法），并且“数据分析 Agent”作为核心调度器，完美体现了系统的智能化。

3. 环境准备与核心技术栈选型

3.1 基础开发环境

操作系统：Windows 10/11, macOS, 或 Linux (Ubuntu 20.04+)。推荐 Linux 或 WSL2 以获得更好的开发体验。
Python 版本：Python 3.8 或 3.9（确保与主要库的兼容性）。使用pyenv或conda管理多版本环境。
数据库：MySQL 5.7+ 或 PostgreSQL 12+。对于毕业设计，MySQL 更常见。
IDE/编辑器：PyCharm Professional (对 Django 支持极佳) 或 VS Code (轻量，插件丰富)。

3.2 Python 核心库清单创建一个requirements.txt文件来管理依赖。以下是分模块的推荐库：

# 1. Web框架与后端 Django==4.2 django-rest-framework==3.14 # 如需构建API django-cors-headers==4.2 # 处理跨域 django-crispy-forms==2.0 # 美化表单 # 2. 数据采集与处理 requests==2.31 beautifulsoup4==4.12 Scrapy==2.11 # 大型爬虫项目选用 APScheduler==3.10 # 定时任务调度 pandas==2.0 numpy==1.24 # 3. 自然语言处理与数据挖掘 jieba==0.42 # 中文分词 snownlp==0.12 # 中文情感分析 (基础版) textblob==0.18 # 英文情感分析 # 进阶选择： transformers, paddlepaddle, sklearn scikit-learn==1.3 # 机器学习算法 (聚类、分类) gensim==4.3 # 主题模型 (LDA) # bertopic==0.15 # 高级主题建模 (需确认环境) # 4. 数据可视化 pyecharts==2.0 matplotlib==3.7 seaborn==0.12 # 5. 数据库与缓存 mysqlclient==2.2 # 或 psycopg2-binary for PostgreSQL redis==5.0 django-redis==5.2 # Django Redis缓存后端 celery==5.3 # 分布式任务队列 (用于Agent异步任务) # 6. 其他工具 python-dotenv==1.0 # 环境变量管理 lxml==4.9 # 解析库

使用以下命令创建虚拟环境并安装依赖：

# 创建虚拟环境 python -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # Linux/macOS: source venv/bin/activate # 安装依赖 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

4. Django 项目初始化与数据模型设计

4.1 创建 Django 项目与应用

django-admin startproject news_analysis_system cd news_analysis_system python manage.py startapp news python manage.py startapp dashboard python manage.py startapp agent

news: 负责新闻数据的采集、存储和核心处理。
dashboard: 负责可视化视图和前端展示。
agent: 实现数据分析 Agent 的逻辑，如定时任务和智能分析流程。

4.2 配置数据库与基础设置在settings.py中配置：

# news_analysis_system/settings.py import os from pathlib import Path BASE_DIR = Path(__file__).resolve().parent.parent SECRET_KEY = 'your-secret-key-here' # 生产环境务必从环境变量读取 DEBUG = True ALLOWED_HOSTS = [] INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.messages', 'django.contrib.staticfiles', # 第三方应用 'crispy_forms', 'crispy_bootstrap5', # 自定义应用 'news.apps.NewsConfig', 'dashboard.apps.DashboardConfig', 'agent.apps.AgentConfig', ] # 数据库配置 (MySQL示例) DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': 'news_analysis', 'USER': 'your_username', 'PASSWORD': 'your_password', 'HOST': 'localhost', 'PORT': '3306', } } # Redis缓存配置 (用于Celery和热点缓存) CACHES = { "default": { "BACKEND": "django_redis.cache.RedisCache", "LOCATION": "redis://127.0.0.1:6379/1", "OPTIONS": { "CLIENT_CLASS": "django_redis.client.DefaultClient", } } } # Celery配置 (异步任务) CELERY_BROKER_URL = 'redis://localhost:6379/0' CELERY_RESULT_BACKEND = 'redis://localhost:6379/0' STATIC_URL = 'static/' STATICFILES_DIRS = [BASE_DIR / 'static']

4.3 设计核心数据模型在news/models.py中定义核心实体。一个好的模型设计是项目的基石。

# news/models.py from django.db import models class NewsSource(models.Model): """新闻源网站""" name = models.CharField(max_length=100, verbose_name='来源名称') domain = models.URLField(verbose_name='域名') crawl_config = models.JSONField(default=dict, verbose_name='爬虫配置') # 存储选择器、频率等 is_active = models.BooleanField(default=True, verbose_name='是否启用') def __str__(self): return self.name class NewsArticle(models.Model): """新闻文章""" title = models.CharField(max_length=500, verbose_name='标题') content = models.TextField(verbose_name='正文内容') url = models.URLField(unique=True, verbose_name='原文链接') source = models.ForeignKey(NewsSource, on_delete=models.CASCADE, verbose_name='来源') publish_time = models.DateTimeField(verbose_name='发布时间') crawl_time = models.DateTimeField(auto_now_add=True, verbose_name='爬取时间') keywords = models.JSONField(default=list, verbose_name='关键词') # 存储分词结果 # 分析结果字段 sentiment_score = models.FloatField(null=True, blank=True, verbose_name='情感得分') # -1到1 sentiment_label = models.CharField(max_length=20, choices=(('positive','正面'),('neutral','中性'),('negative','负面')), null=True, blank=True) topic_id = models.IntegerField(null=True, blank=True, verbose_name='主题ID') # 关联热点主题 entities = models.JSONField(default=dict, verbose_name='命名实体') # 如 {'PERSON': ['张三'], 'ORG': ['A公司']} class Meta: indexes = [ models.Index(fields=['publish_time']), models.Index(fields=['sentiment_label']), models.Index(fields=['topic_id']), ] verbose_name = '新闻文章' class HotTopic(models.Model): """热点话题""" name = models.CharField(max_length=200, verbose_name='话题名称') keywords = models.JSONField(default=list, verbose_name='代表关键词') start_time = models.DateTimeField(verbose_name='开始时间') peak_time = models.DateTimeField(null=True, blank=True, verbose_name='峰值时间') heat_index = models.FloatField(default=0.0, verbose_name='热度指数') # 综合新闻数、情感、传播计算 related_articles = models.ManyToManyField(NewsArticle, verbose_name='相关文章') summary = models.TextField(blank=True, verbose_name='话题摘要') def __str__(self): return f"{self.name} (热度: {self.heat_index:.2f})"

运行迁移命令创建数据库表：

python manage.py makemigrations python manage.py migrate

5. 数据采集与处理管道实现

5.1 构建通用爬虫模块我们使用requests和BeautifulSoup实现一个可扩展的爬虫基类。

# news/spiders/base_spider.py import requests from bs4 import BeautifulSoup import time import logging from urllib.parse import urljoin from django.utils import timezone logger = logging.getLogger(__name__) class BaseNewsSpider: def __init__(self, source): self.source = source self.config = source.crawl_config self.session = requests.Session() self.session.headers.update({ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36' }) def fetch_page(self, url): """获取页面内容""" try: resp = self.session.get(url, timeout=10) resp.raise_for_status() resp.encoding = resp.apparent_encoding or 'utf-8' return resp.text except Exception as e: logger.error(f"Failed to fetch {url}: {e}") return None def parse_list_page(self, html): """解析列表页，提取新闻链接。子类必须重写此方法。""" raise NotImplementedError def parse_detail_page(self, html, url): """解析详情页，提取标题、正文、时间。子类必须重写此方法。""" raise NotImplementedError def crawl(self, list_url): """执行爬取流程""" html = self.fetch_page(list_url) if not html: return [] article_urls = self.parse_list_page(html) articles_data = [] for url in article_urls[:10]: # 限制数量，避免过度爬取 full_url = urljoin(list_url, url) detail_html = self.fetch_page(full_url) if detail_html: article_data = self.parse_detail_page(detail_html, full_url) if article_data: article_data['source'] = self.source article_data['url'] = full_url articles_data.append(article_data) time.sleep(1) # 礼貌爬取，避免被封 return articles_data

5.2 实现一个具体新闻源（以新浪新闻为例）

# news/spiders/sina_spider.py from .base_spider import BaseNewsSpider from bs4 import BeautifulSoup import re from dateutil import parser class SinaNewsSpider(BaseNewsSpider): def parse_list_page(self, html): soup = BeautifulSoup(html, 'lxml') # 假设列表页结构，实际需根据网站调整 links = [] for item in soup.select('.news-item a'): # 示例选择器 href = item.get('href') if href and 'news.sina.com.cn' in href: links.append(href) return links def parse_detail_page(self, html, url): soup = BeautifulSoup(html, 'lxml') title_elem = soup.select_one('h1.main-title') content_elem = soup.select_one('.article') time_elem = soup.select_one('.date-source .date') if not all([title_elem, content_elem, time_elem]): return None title = title_elem.text.strip() content = '\n'.join([p.text.strip() for p in content_elem.select('p')]) time_str = time_elem.text.strip() try: publish_time = parser.parse(time_str) except Exception: publish_time = timezone.now() return { 'title': title, 'content': content, 'publish_time': publish_time, }

5.3 数据清洗与存储服务

# news/services/data_service.py import jieba import jieba.analyse from snownlp import SnowNLP from .models import NewsArticle import logging logger = logging.getLogger(__name__) class DataProcessingService: @staticmethod def clean_text(text): """基础文本清洗""" # 去除HTML标签、多余空白、特殊字符等 import re text = re.sub(r'<[^>]+>', '', text) text = re.sub(r'\s+', ' ', text) return text.strip() @staticmethod def extract_keywords(text, topK=10): """提取关键词""" # 使用jieba的TF-IDF算法 keywords = jieba.analyse.extract_tags(text, topK=topK, withWeight=False) return list(keywords) @staticmethod def analyze_sentiment(text): """情感分析，返回得分和标签""" try: s = SnowNLP(text) score = s.sentiments # 0到1，越接近1越正面 # 简单三分法 if score > 0.6: label = 'positive' elif score < 0.4: label = 'negative' else: label = 'neutral' return score, label except Exception as e: logger.error(f"Sentiment analysis failed: {e}") return 0.5, 'neutral' @classmethod def save_article(cls, article_data): """处理并保存文章数据""" cleaned_content = cls.clean_text(article_data['content']) keywords = cls.extract_keywords(cleaned_content) sentiment_score, sentiment_label = cls.analyze_sentiment(cleaned_content) article, created = NewsArticle.objects.update_or_create( url=article_data['url'], defaults={ 'title': article_data['title'], 'content': cleaned_content, 'source': article_data['source'], 'publish_time': article_data['publish_time'], 'keywords': keywords, 'sentiment_score': sentiment_score, 'sentiment_label': sentiment_label, } ) logger.info(f"{'Created' if created else 'Updated'} article: {article.title}") return article

6. 数据分析 Agent 的实现

这是项目的“智能”核心。Agent 负责协调各种分析任务。我们使用Celery实现异步任务调度。

6.1 配置 Celery

# news_analysis_system/celery.py import os from celery import Celery os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'news_analysis_system.settings') app = Celery('news_analysis_system') app.config_from_object('django.conf:settings', namespace='CELERY') app.autodiscover_tasks() @app.task(bind=True, ignore_result=True) def debug_task(self): print(f'Request: {self.request!r}')

# news_analysis_system/__init__.py from .celery import app as celery_app __all__ = ('celery_app',)

6.2 定义 Agent 任务在agent/tasks.py中定义具体的分析任务。

# agent/tasks.py from celery import shared_task from django.utils import timezone from datetime import timedelta from news.models import NewsArticle, HotTopic from news.services.data_service import DataProcessingService from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.cluster import DBSCAN import numpy as np import logging from django.db.models import Count, Avg logger = logging.getLogger(__name__) @shared_task def daily_hot_topic_detection(): """每日热点话题检测任务""" logger.info("Starting daily hot topic detection...") # 获取过去24小时的新闻 time_threshold = timezone.now() - timedelta(hours=24) recent_articles = NewsArticle.objects.filter(publish_time__gte=time_threshold) if recent_articles.count() < 10: logger.warning("Not enough articles for topic detection.") return # 1. 文本向量化 corpus = [article.content for article in recent_articles] vectorizer = TfidfVectorizer(max_features=1000, stop_words=['的', '了', '在', '是', '我']) X = vectorizer.fit_transform(corpus) # 2. 聚类 (使用DBSCAN，无需指定簇数量) clustering = DBSCAN(eps=0.5, min_samples=3, metric='cosine').fit(X) labels = clustering.labels_ # 3. 为每个簇（非噪声）创建热点话题 unique_labels = set(labels) for label in unique_labels: if label == -1: # 噪声点 continue cluster_indices = np.where(labels == label)[0] cluster_articles = [recent_articles[int(i)] for i in cluster_indices] if len(cluster_articles) < 5: # 忽略太小的话题 continue # 计算热度指数：文章数量 * 平均情感绝对值（争议性） avg_sentiment = np.mean([abs(a.sentiment_score - 0.5) for a in cluster_articles]) heat = len(cluster_articles) * (1 + avg_sentiment) # 提取代表性关键词 all_keywords = [] for article in cluster_articles: all_keywords.extend(article.keywords) from collections import Counter top_keywords = [kw for kw, _ in Counter(all_keywords).most_common(5)] # 创建或更新热点话题 topic_name = '、'.join(top_keywords[:3]) topic, created = HotTopic.objects.update_or_create( name=topic_name, defaults={ 'keywords': top_keywords, 'start_time': min(a.publish_time for a in cluster_articles), 'peak_time': timezone.now(), 'heat_index': heat, 'summary': f'自动生成于{timezone.now()}，包含{len(cluster_articles)}篇相关文章。' } ) topic.related_articles.set(cluster_articles) logger.info(f"{'Created' if created else 'Updated'} hot topic: {topic_name}") logger.info("Hot topic detection completed.") @shared_task def update_article_sentiment_batch(): """批量更新文章情感（例如，使用更复杂的模型重新分析）""" # 这里可以调用更高级的NLP模型API或本地模型 articles = NewsArticle.objects.filter(sentiment_score__isnull=True)[:100] # 每次处理100条 for article in articles: # 假设我们有一个更高级的分析函数 new_score, new_label = advanced_sentiment_analysis(article.content) article.sentiment_score = new_score article.sentiment_label = new_label article.save(update_fields=['sentiment_score', 'sentiment_label']) logger.info(f"Updated sentiment for {articles.count()} articles.")

6.3 使用 APScheduler 进行定时调度（作为 Celery 的补充）

# agent/scheduler.py from apscheduler.schedulers.background import BackgroundScheduler from django_apscheduler.jobstores import DjangoJobStore from agent.tasks import daily_hot_topic_detection, update_article_sentiment_batch def start_scheduler(): scheduler = BackgroundScheduler() scheduler.add_jobstore(DjangoJobStore(), "default") # 每天凌晨2点执行热点检测 scheduler.add_job( daily_hot_topic_detection.delay, # 注意：调用Celery任务 'cron', hour=2, minute=0, id='daily_hot_topic', replace_existing=True ) # 每6小时执行一次情感分析更新 scheduler.add_job( update_article_sentiment_batch.delay, 'interval', hours=6, id='batch_sentiment_update', replace_existing=True ) scheduler.start() print("Scheduler started!")

在apps.py中启动调度器：

# agent/apps.py from django.apps import AppConfig class AgentConfig(AppConfig): default_auto_field = 'django.db.models.BigAutoField' name = 'agent' def ready(self): if not os.environ.get('RUN_MAIN'): return try: from .scheduler import start_scheduler start_scheduler() except Exception as e: print(f"Failed to start scheduler: {e}")

7. 数据可视化与 Django 视图集成

7.1 使用 PyEcharts 生成图表首先，在dashboard/views.py中编写视图逻辑，生成图表数据。

# dashboard/views.py from django.shortcuts import render from django.db.models import Count, Q from django.utils import timezone from datetime import timedelta from news.models import NewsArticle, HotTopic from pyecharts.charts import Line, Pie, Bar, WordCloud, Timeline from pyecharts import options as opts from pyecharts.globals import ThemeType import json def sentiment_trend(request): """情感趋势折线图""" # 获取过去7天的数据 end_date = timezone.now() start_date = end_date - timedelta(days=7) date_list = [(start_date + timedelta(days=i)).strftime('%m-%d') for i in range(8)] # 按天聚合情感数据 trend_data = {'positive': [], 'neutral': [], 'negative': []} for i in range(7): day_start = start_date + timedelta(days=i) day_end = day_start + timedelta(days=1) daily_articles = NewsArticle.objects.filter(publish_time__range=(day_start, day_end)) total = daily_articles.count() or 1 # 避免除零 trend_data['positive'].append(daily_articles.filter(sentiment_label='positive').count() / total * 100) trend_data['neutral'].append(daily_articles.filter(sentiment_label='neutral').count() / total * 100) trend_data['negative'].append(daily_articles.filter(sentiment_label='negative').count() / total * 100) # 构建PyEcharts Line图 line = ( Line(init_opts=opts.InitOpts(theme=ThemeType.LIGHT, width="100%", height="400px")) .add_xaxis(date_list[:-1]) .add_yaxis("正面情绪(%)", trend_data['positive'], is_smooth=True, linestyle_opts=opts.LineStyleOpts(width=3)) .add_yaxis("中性情绪(%)", trend_data['neutral'], is_smooth=True) .add_yaxis("负面情绪(%)", trend_data['negative'], is_smooth=True) .set_global_opts( title_opts=opts.TitleOpts(title="近七日舆情情感趋势", subtitle="数据自动更新"), tooltip_opts=opts.TooltipOpts(trigger="axis"), legend_opts=opts.LegendOpts(pos_top="10%"), yaxis_opts=opts.AxisOpts( type_="value", axislabel_opts=opts.LabelOpts(formatter="{value} %"), ) ) ) line_html = line.render_embed() # 生成HTML片段 context = {'chart_html': line_html} return render(request, 'dashboard/chart.html', context) def hot_topic_ranking(request): """热点话题排行榜""" topics = HotTopic.objects.order_by('-heat_index')[:10] # 构建柱状图数据 topic_names = [t.name for t in topics] heat_values = [t.heat_index for t in topics] bar = ( Bar(init_opts=opts.InitOpts(width="100%", height="500px")) .add_xaxis(topic_names) .add_yaxis("热度指数", heat_values) .reversal_axis() .set_series_opts(label_opts=opts.LabelOpts(position="right")) .set_global_opts( title_opts=opts.TitleOpts(title="实时热点话题TOP10"), xaxis_opts=opts.AxisOpts(name="热度"), yaxis_opts=opts.AxisOpts( name="话题", axislabel_opts=opts.LabelOpts(interval=0) # 强制显示所有标签 ), ) ) context = {'chart_html': bar.render_embed()} return render(request, 'dashboard/chart.html', context)

7.2 创建模板展示图表

<!-- dashboard/templates/dashboard/chart.html --> <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <title>舆情分析仪表盘</title> <script src="https://cdn.jsdelivr.net/npm/echarts@5.4.3/dist/echarts.min.js"></script> <!-- 引入PyEcharts渲染器 --> {{ chart_html|safe }} </head> <body> <div style="width: 80%; margin: 50px auto;"> <h1>新闻舆情分析可视化系统</h1> <div> <a href="{% url 'sentiment_trend' %}">情感趋势</a> | <a href="{% url 'hot_topic_ranking' %}">热点排行</a> </div> <hr> <!-- 图表将在这里渲染 --> <div id="chart-container"> {{ chart_html|safe }} </div> </div> </body> </html>

7.3 配置 URL 路由

# dashboard/urls.py from django.urls import path from . import views urlpatterns = [ path('sentiment_trend/', views.sentiment_trend, name='sentiment_trend'), path('hot_topics/', views.hot_topic_ranking, name='hot_topic_ranking'), # ... 其他视图 ] # news_analysis_system/urls.py from django.contrib import admin from django.urls import path, include urlpatterns = [ path('admin/', admin.site.urls), path('dashboard/', include('dashboard.urls')), path('', include('dashboard.urls')), # 默认首页 ]

8. 系统运行与效果验证

8.1 启动所有服务项目需要同时启动多个服务，建议使用终端分屏或编写启动脚本。

启动 Django 开发服务器：
```
python manage.py runserver
```
访问http://127.0.0.1:8000/dashboard/sentiment_trend/查看图表。

启动 Redis 服务（确保已安装）：

# Linux/macOS redis-server # Windows (如果通过WSL或安装包) redis-server.exe

启动 Celery Worker（处理异步任务）：

celery -A news_analysis_system worker --loglevel=info

启动 Celery Beat（定时任务调度器，如果使用Celery Beat）：
```
celery -A news_analysis_system beat --loglevel=info
```
注意：我们使用了 APScheduler，它随 Django 启动，所以无需单独启动 Beat。如果使用 Celery Beat，需在settings.py中配置CELERY_BEAT_SCHEDULE。

8.2 手动触发任务进行测试在 Django Shell 中测试 Agent 任务：

python manage.py shell

>>> from agent.tasks import daily_hot_topic_detection, update_article_sentiment_batch >>> # 异步执行 >>> result = daily_hot_topic_detection.delay() >>> print(f"Task ID: {result.id}") >>> # 或者同步执行（测试用） >>> daily_hot_topic_detection()

8.3 验证数据流与可视化

数据采集：运行你编写的爬虫脚本，向NewsArticle表注入数据。
Agent 分析：等待定时任务执行或手动触发，检查HotTopic表是否生成数据，NewsArticle表的sentiment_label是否被填充。
可视化：刷新仪表盘页面，查看情感趋势图和热点排行榜是否根据新数据正确更新。

预期效果是看到一个动态更新的仪表盘，能够反映近期新闻的情感分布和热点话题演变。

9. 常见问题与排查思路

问题现象	可能原因	排查方式	解决方案
`python manage.py runserver`启动失败，提示数据库连接错误	1. 数据库服务未启动。 2.`settings.py`中数据库配置错误。 3. MySQL 用户权限不足。	1. 检查 MySQL 服务状态 (`sudo systemctl status mysql`)。 2. 核对`DATABASES`配置中的`NAME`,`USER`,`PASSWORD`,`HOST`。 3. 尝试用配置的用户密码命令行登录 MySQL。	1. 启动数据库服务。 2. 修正配置信息。 3. 在 MySQL 中创建数据库并授予用户权限：`CREATE DATABASE news_analysis; GRANT ALL ON news_analysis.* TO 'your_user'@'localhost';`
爬虫运行无错误，但`NewsArticle`表无数据	1. 网站结构变化，CSS选择器失效。 2. 触发反爬机制（IP被封、请求被拦截）。 3. 数据清洗或保存逻辑有异常被静默处理。	1. 打印`fetch_page`返回的 HTML 片段，检查是否包含预期内容。 2. 检查网络请求状态码和响应头。 3. 在`save_article`函数中添加详细日志，查看数据处理到哪一步失败。	1. 更新爬虫解析逻辑。 2. 添加请求头、使用代理、设置更长的请求间隔。 3. 加强异常捕获和日志记录，确保每一步都有反馈。
情感分析结果不准确（例如所有都是中性）	1. SnowNLP 基于商品评论训练，对新闻领域适应性可能不佳。 2. 文本清洗过度或不足，影响了分析。 3. 阈值设置不合理。	1. 手动检查几篇明显正面或负面的新闻，看`sentiment_score`输出。 2. 查看清洗后的文本内容是否保留了情感词汇。	1.毕业设计重点：可以尝试替换或结合其他模型，如百度 Senta、腾讯 NLP，或微调一个简单的文本分类模型。这能极大提升项目深度。 2. 调整清洗规则和情感标签阈值。
Celery Worker 报错`Received unregistered task`	1. Celery 未正确发现任务。 2. 任务代码修改后未重启 Worker。	1. 检查`celery.py`中`app.autodiscover_tasks()`是否包含任务所在 App。 2. 检查`INSTALLED_APPS`是否包含了`agent`。	1. 确保任务函数使用`@shared_task`装饰器。 2. 重启 Celery Worker。 3. 明确指定任务模块：`app.autodiscover_tasks(['agent.tasks'])`
PyEcharts 图表不显示	1. 未正确引入 ECharts JS 库。 2.`render_embed()`生成的 HTML 在模板中未使用`\|safe`过滤器。 3. 视图函数中图表数据为空。	1. 检查浏览器控制台是否有 JS 错误。 2. 查看网页源代码，看是否生成了`<div>`和`<script>`标签。 3. 在视图函数中打印数据，检查查询结果。	1. 确保模板中引入了正确的 ECharts CDN。 2. 模板变量使用`{{ chart_html\|safe }}`。 3. 确保数据库中有数据，且视图逻辑正确。
热点检测聚类结果不理想（所有文章聚成一类或全是噪声）	1. TF-IDF 参数（如`max_features`）不合适。 2. DBSCAN 参数 (`eps`,`min_samples`) 需要调整。 3. 文本预处理不够（如未去除停用词）。	1. 打印向量化后的特征维度。 2. 可视化聚类结果（如使用 PCA 降维后画图）。 3. 检查分词和清洗后的文本质量。	1. 尝试调整`TfidfVectorizer`和`DBSCAN`的参数，这是一个需要调优的过程。 2. 可以尝试使用 BERT 等模型生成句向量再进行聚类，效果更好但计算成本高。

10. 项目优化与进阶方向（毕业设计亮点）

要让你的毕业设计在答辩中拿到高分，必须在基础功能上体现深度思考和工程能力。

10.1 数据采集优化

分布式爬虫：使用Scrapy-Redis构建分布式爬虫，提升采集效率和稳定性。
智能反爬：集成动态 IP 代理池、模拟浏览器行为（Selenium/Splash）、识别验证码等。
增量爬取：基于publish_time实现增量更新，避免重复爬取。

10.2 分析算法升级

情感分析升级：弃用 SnowNLP，使用预训练模型（如transformers库中的bert-base-chinese）进行细粒度情感分析（喜、怒、哀、惧等）。
热点挖掘升级：
- 时序突发检测：使用时间序列分析（如 CUSUM）识别话题热度的突然上升。
- 高级主题模型：使用BERTopic，它结合了 BERT 嵌入和聚类，能产生语义更连贯的主题。
- 事件演化追踪：将同一热点在不同时间点的报道关联起来，绘制话题生命周期图。
实体关系图：利用py2neo等库，将新闻中的人物、组织、地点实体及其关系存入图数据库，实现关联分析。

10.3 系统架构与工程化

前后端分离：将 Django 改造为纯后端 API（使用 Django REST Framework），前端使用 Vue.js 或 React 构建更交互式的可视化大屏。
引入消息队列：使用 RabbitMQ 或 Kafka 解耦爬虫、分析和存储模块，提高系统吞吐量和可靠性。
容器化部署：编写Dockerfile和docker-compose.yml，一键部署整个系统（Django, Celery, Redis, MySQL），体现 DevOps 能力。
监控与日志：集成Sentry进行错误监控，使用ELK栈（Elasticsearch, Logstash, Kibana）管理日志。

10.4 可视化增强