Python实战：爬取Billboard榜单数据，计算并可视化歌曲热度峰值

在音乐数据分析领域，Billboard Hot 100榜单的点数（Chart Points）是衡量一首单曲在特定周期内商业表现与流行度的核心量化指标。对于像Olivia Rodrigo这样现象级的流行歌手，其歌曲在Hot 100上的点数峰值，不仅记录了她职业生涯的高光时刻，更是一份可供技术爱好者深入挖掘的“数据金矿”。本文将从一个开发者/数据分析师的视角，手把手带你搭建一个数据分析项目，目标是爬取、计算并可视化Olivia Rodrigo歌曲的Hot 100点数峰值。我们将涵盖从环境搭建、数据获取、核心算法实现到结果呈现的全流程，并提供完整的、可运行的Python代码。无论你是想学习网络爬虫、数据处理，还是对音乐数据感兴趣，都能从本文中获得一套可直接复用的实战方案。

1. 背景与核心概念：理解Billboard Hot 100点数

在开始写代码之前，我们必须先搞清楚我们要分析的对象究竟是什么。

Billboard Hot 100是美国乃至全球最具权威的单曲流行榜，其排名综合了实体销量、数字下载、流媒体播放量以及电台广播数据。而“点数”并非一个官方公开的原始数据，它是乐迷和数据分析社区根据Billboard每周公布的榜单排名，通过一套公认的估算模型反推出来的数值，用以量化单曲在当周的相对热度。

点数计算的核心逻辑（社区通用模型）： 点数与排名呈非线性反比关系。通常，排名越高（数字越小，如第1名），获得的点数越多。一个广泛使用的简化公式是：点数 = 1000 / (排名 + 常数)。常数通常取一个较小的值（如5），以确保第1名的点数远高于第100名，且曲线平滑。例如，使用点数 = 1000 / (排名 + 5)：

• 第1名点数：1000 / (1+5) ≈ 166.7
• 第10名点数：1000 / (10+5) ≈ 66.7
• 第50名点数：1000 / (50+5) ≈ 18.2
• 第100名点数：1000 / (100+5) ≈ 9.5

“点数峰值”指的是一首歌曲在Hot 100榜单上存续期间，所有单周点数中的最大值。它标志着该歌曲商业影响力的顶峰。

为什么开发者需要关注这个？

1. 数据工程实践：这是一个典型的小型数据工程项目，涉及数据采集、清洗、转换、计算和可视化（ETL-V）全流程。
2. 网络爬虫学习：学习如何从半结构化网页（Billboard官网历史榜单）中稳定、合规地提取数据。
3. 数据分析应用：将抽象的商业排名转化为可计算、可比较的数值指标，并进行趋势分析。
4. 技术栈综合运用：会用到requests,BeautifulSoup,pandas,matplotlib等Python数据科学核心库。

2. 环境准备与版本说明

本项目主要使用Python进行开发。以下环境配置已通过测试，建议读者使用相同或相近的主要版本以避免依赖冲突。

• 操作系统：Windows 10/11, macOS Monterey及以上，或 Ubuntu 20.04 LTS及以上（本文演示环境为macOS）。
• Python 版本：3.8 或 3.9（推荐3.9）。Billboard官网结构相对稳定，但高版本Python能保证库的兼容性。
• 核心第三方库：
  • requests(2.28+): 用于发送HTTP请求，获取网页HTML内容。
  • beautifulsoup4(4.11+): 用于解析HTML，提取所需数据。
  • pandas(1.5+): 用于数据清洗、整理、计算和表格化操作。
  • matplotlib(3.6+): 用于生成图表，可视化分析结果。
• 开发工具：任何你熟悉的代码编辑器或IDE均可，如 VS Code, PyCharm, Jupyter Notebook。

项目初始化步骤：

1. 创建项目文件夹，例如olivia_hot100_analysis。
2. 在该文件夹下创建虚拟环境（推荐）并安装依赖。

# 进入项目目录 cd olivia_hot100_analysis # 创建虚拟环境 (Python 3.9) python3.9 -m venv venv # 激活虚拟环境 # Windows: venv\Scripts\activate # macOS/Linux: source venv/bin/activate # 安装依赖库 pip install requests beautifulsoup4 pandas matplotlib

3. 在项目根目录下创建以下Python脚本文件，我们将分模块编写代码：
   • billboard_scraper.py: 负责爬取榜单数据。
   • data_processor.py: 负责计算点数和峰值。
   • visualizer.py: 负责生成图表。
   • main.py: 主程序，协调整个流程。
   • config.py: (可选) 存放常量，如榜单URL模板、点数计算公式常数。

3. 核心原理与数据获取策略拆解

3.1 Billboard 榜单页面结构分析

Billboard官网为每一周的Hot 100榜单提供了一个独立的URL，格式通常为：https://www.billboard.com/charts/hot-100/YYYY-MM-DD/。我们的目标是获取Olivia Rodrigo所有歌曲上榜期间的每周数据。

策略：

1. 确定时间范围：Olivia Rodrigo的首支热单“drivers license”于2021年1月强势空降Hot 100榜首。我们需要确定一个合理的爬取起始日期（如2021-01-01）至当前日期。
2. 生成日期序列：每周的榜单发布日期是周六。我们需要生成从起始日期到当前日期之间所有周六的日期列表。
3. 解析页面元素：使用浏览器开发者工具检查榜单页面，发现每首歌曲的信息通常包裹在特定的HTML元素中（例如，带有特定class的li或div标签），排名、歌曲名、歌手名是分开的元素。
4. 数据提取：遍历每周的榜单页面，查找所有包含“Olivia Rodrigo”的条目，并记录该周的日期、歌曲名、排名。

注意事项（为什么这么做）：

• 设置请求头：模拟真实浏览器访问，避免被网站简单的反爬机制屏蔽。
• 添加延迟：在连续请求之间添加随机延时（如1-3秒），体现良好的爬虫礼仪，避免对目标服务器造成压力。
• 错误处理：网络请求可能失败，页面结构可能微调，代码中必须包含try-except块和日志记录。
• 数据存储：先将爬取的原始数据保存为本地文件（如CSV或JSON），便于后续调试和重复处理，避免每次分析都重新爬取。

3.2 点数计算模型实现

我们将采用前述的简化模型。为了代码的灵活性和可维护性，我们将计算公式封装成一个函数。

关键设计点：

• 常数选择：常数C的选择会影响点数的绝对数值和歌曲间的相对差距。社区常用值在3到10之间。我们可以将其设为配置参数，方便后续调整和对比。
• 峰值计算：对于同一首歌曲，在其所有上榜记录中，找出点数最大的那条记录，该点数即为“点数峰值”，对应的排名即为“峰值排名”（注意，峰值点数对应的周次不一定是排名最高的周次，因为点数模型是非线性的）。

4. 完整实战案例：从爬取到可视化

接下来，我们分步骤实现整个分析流程。

4.1 步骤一：编写榜单爬取模块 (billboard_scraper.py)

这个模块负责获取原始数据。

# billboard_scraper.py import requests from bs4 import BeautifulSoup import pandas as pd import time import random from datetime import datetime, timedelta import logging # 配置日志，方便查看运行状态和错误 logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s') logger = logging.getLogger(__name__) def generate_saturday_dates(start_date_str, end_date_str=None): """ 生成从start_date到end_date之间所有周六的日期列表。 Billboard Hot 100每周六更新。 """ start_date = datetime.strptime(start_date_str, '%Y-%m-%d') if end_date_str: end_date = datetime.strptime(end_date_str, '%Y-%m-%d') else: end_date = datetime.now() # 默认到今天 # 找到第一个周六 days_to_saturday = (5 - start_date.weekday()) % 7 # weekday() 周一=0, 周六=5 first_saturday = start_date + timedelta(days=days_to_saturday) saturdays = [] current_saturday = first_saturday while current_saturday <= end_date: saturdays.append(current_saturday.strftime('%Y-%m-%d')) current_saturday += timedelta(days=7) # 跳到下周六 return saturdays def scrape_hot100_for_artist(artist_name, start_date='2021-01-01', end_date=None, max_weeks=50): """ 爬取指定时间段内，指定歌手在Hot 100上的所有上榜记录。 参数: artist_name: 歌手名，如 'Olivia Rodrigo' start_date: 开始日期字符串 'YYYY-MM-DD' end_date: 结束日期字符串 'YYYY-MM-DD'，默认为None（到今天） max_weeks: 最大爬取周数，防止意外运行时间过长，默认50周 """ # 生成要爬取的日期列表 target_dates = generate_saturday_dates(start_date, end_date)[:max_weeks] logger.info(f"准备爬取从 {target_dates[0]} 到 {target_dates[-1]} 共 {len(target_dates)} 周的榜单...") all_records = [] headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36' } for chart_date in target_dates: url = f'https://www.billboard.com/charts/hot-100/{chart_date}/' logger.info(f"正在处理 {chart_date} 的榜单: {url}") try: # 请求页面，添加随机延迟 time.sleep(random.uniform(1, 3)) response = requests.get(url, headers=headers, timeout=10) response.raise_for_status() # 检查HTTP错误 soup = BeautifulSoup(response.content, 'html.parser') # Billboard Hot 100页面结构可能变化，此选择器需要根据实际情况调整 # 核心：找到包含每首歌排名和信息的容器 # 以下选择器是一个通用示例，实际使用时请用浏览器开发者工具确认最新结构 chart_items = soup.select('ul.o-chart-results-list-row') # 或 'li.lrv-u-padding-l-050' 等 for item in chart_items: # 提取排名 rank_elem = item.select_one('span.c-label.a-font-primary-bold-l') # 提取歌曲名 song_elem = item.select_one('h3.c-title.a-no-trucate') # 提取歌手名 artist_elem = item.select_one('span.c-label.a-no-trucate') if not all([rank_elem, song_elem, artist_elem]): continue rank = rank_elem.get_text(strip=True) song = song_elem.get_text(strip=True) artist = artist_elem.get_text(strip=True) # 检查是否是目标歌手（包含关系，处理feat.情况） if artist_name.lower() in artist.lower(): all_records.append({ 'chart_date': chart_date, 'rank': int(rank), 'song': song, 'artist': artist }) logger.debug(f" 找到: {song} - {artist} (排名: {rank})") except requests.exceptions.RequestException as e: logger.error(f"请求 {url} 失败: {e}") continue except Exception as e: logger.error(f"解析 {url} 页面时发生错误: {e}") continue # 将结果转换为DataFrame df = pd.DataFrame(all_records) if not df.empty: df = df.sort_values(['song', 'chart_date']) # 按歌曲和日期排序 logger.info(f"爬取完成！共找到 {len(df)} 条记录。") else: logger.warning("未找到任何匹配的记录。") return df if __name__ == '__main__': # 测试爬取Olivia Rodrigo最近10周的数据 test_df = scrape_hot100_for_artist('Olivia Rodrigo', start_date='2024-01-01', max_weeks=10) print(test_df.head()) # 保存到CSV文件 if not test_df.empty: test_df.to_csv('olivia_hot100_sample.csv', index=False) print("示例数据已保存到 olivia_hot100_sample.csv")

重要提示：Billboard官网的HTML结构可能随时调整，上述代码中的CSS选择器（如ul.o-chart-results-list-row）可能需要根据实际情况更新。运行前，请务必打开 Billboard Hot 100页面 ，使用开发者工具（Inspect）重新确认包含歌曲排名、名称的HTML元素及其选择器。

4.2 步骤二：编写数据处理与计算模块 (data_processor.py)

这个模块负责计算点数和找出峰值。

# data_processor.py import pandas as pd import logging logger = logging.getLogger(__name__) def calculate_points(rank, constant=5): """ 根据排名计算点数。 公式: points = 1000 / (rank + constant) """ if rank <= 0: return 0 return 1000 / (rank + constant) def process_chart_data(df, constant=5): """ 处理爬取到的榜单数据，计算每周点数，并找出每首歌的点数峰值。 参数: df: 包含 'chart_date', 'rank', 'song', 'artist' 列的DataFrame constant: 点数计算公式中的常数 返回: weekly_df: 包含原始数据和‘points’列的周数据DataFrame peak_df: 包含每首歌‘peak_points’和‘peak_rank’的峰值数据DataFrame """ if df.empty: logger.warning("输入DataFrame为空，无法处理。") return pd.DataFrame(), pd.DataFrame() # 1. 计算每周点数 weekly_df = df.copy() weekly_df['points'] = weekly_df['rank'].apply(lambda x: calculate_points(x, constant)) # 2. 找出每首歌的点数峰值及对应的排名和日期 peak_records = [] for song, group in weekly_df.groupby('song'): # 找到点数最大的行 peak_row = group.loc[group['points'].idxmax()] peak_records.append({ 'song': song, 'peak_points': round(peak_row['points'], 2), # 保留两位小数 'peak_rank': peak_row['rank'], 'peak_date': peak_row['chart_date'], 'weeks_on_chart': len(group) # 在榜周数 }) peak_df = pd.DataFrame(peak_records) # 按峰值点数降序排列 peak_df = peak_df.sort_values('peak_points', ascending=False).reset_index(drop=True) logger.info(f"数据处理完成。共处理 {len(weekly_df)} 条周记录，{len(peak_df)} 首歌曲。") return weekly_df, peak_df if __name__ == '__main__': # 测试数据处理 # 假设我们已经有一个CSV文件 ‘olivia_hot100_data.csv’ try: test_weekly_df = pd.read_csv('olivia_hot100_data.csv') weekly_result, peak_result = process_chart_data(test_weekly_df) print("周数据（前5行）:") print(weekly_result[['song', 'chart_date', 'rank', 'points']].head()) print("\n峰值数据:") print(peak_result) except FileNotFoundError: print("请先运行爬虫脚本生成 ‘olivia_hot100_data.csv’ 文件。")

4.3 步骤三：编写数据可视化模块 (visualizer.py)

这个模块负责将分析结果以图表形式呈现。

# visualizer.py import matplotlib.pyplot as plt import pandas as pd import numpy as np def plot_peak_points(peak_df, top_n=10): """ 绘制歌曲点数峰值Top N的条形图。 """ if peak_df.empty: print("峰值数据为空，无法绘图。") return plot_df = peak_df.head(top_n).copy() # 确保顺序（从高到低） plot_df = plot_df.sort_values('peak_points') plt.figure(figsize=(12, 8)) bars = plt.barh(range(len(plot_df)), plot_df['peak_points'], color='skyblue') plt.yticks(range(len(plot_df)), plot_df['song']) plt.xlabel('Peak Chart Points') plt.title(f'Olivia Rodrigo - Top {top_n} Songs by Peak Hot 100 Points') plt.grid(axis='x', linestyle='--', alpha=0.7) # 在条形末端添加数值标签 for i, (bar, peak_rank) in enumerate(zip(bars, plot_df['peak_rank'])): width = bar.get_width() plt.text(width + 0.5, bar.get_y() + bar.get_height()/2, f'{width:.1f} (Rank #{int(peak_rank)})', va='center', ha='left', fontsize=9) plt.tight_layout() plt.savefig('olivia_peak_points_top.png', dpi=300) plt.show() def plot_song_trend(weekly_df, song_name): """ 绘制指定歌曲在榜期间的排名和点数变化趋势图（双Y轴）。 """ song_data = weekly_df[weekly_df['song'] == song_name].copy() if song_data.empty: print(f"未找到歌曲 '{song_name}' 的数据。") return song_data['chart_date'] = pd.to_datetime(song_data['chart_date']) song_data = song_data.sort_values('chart_date') fig, ax1 = plt.subplots(figsize=(14, 7)) color = 'tab:red' ax1.set_xlabel('Chart Date') ax1.set_ylabel('Rank (Lower is Better)', color=color) # 排名是逆序的，第1名最好，所以用散点图或折线图表示 ax1.plot(song_data['chart_date'], song_data['rank'], marker='o', color=color, label='Rank') ax1.invert_yaxis() # 反转Y轴，让排名第1名在顶部 ax1.tick_params(axis='y', labelcolor=color) ax1.grid(True, alpha=0.3) ax2 = ax1.twinx() # 共享X轴 color = 'tab:blue' ax2.set_ylabel('Chart Points', color=color) ax2.plot(song_data['chart_date'], song_data['points'], marker='s', linestyle='--', color=color, label='Points') ax2.tick_params(axis='y', labelcolor=color) # 标注峰值点 peak_idx = song_data['points'].idxmax() peak_date = song_data.loc[peak_idx, 'chart_date'] peak_points = song_data.loc[peak_idx, 'points'] peak_rank = song_data.loc[peak_idx, 'rank'] ax2.annotate(f'Peak: {peak_points:.1f} pts\n(Rank #{peak_rank})', xy=(peak_date, peak_points), xytext=(10, 30), textcoords='offset points', arrowprops=dict(arrowstyle='->', connectionstyle='arc3,rad=.2'), bbox=dict(boxstyle='round,pad=0.3', edgecolor='blue', facecolor='wheat')) fig.tight_layout() plt.title(f'Hot 100 Chart Run for "{song_name}" by Olivia Rodrigo') # 合并图例 lines_1, labels_1 = ax1.get_legend_handles_labels() lines_2, labels_2 = ax2.get_legend_handles_labels() ax1.legend(lines_1 + lines_2, labels_1 + labels_2, loc='upper left') plt.savefig(f'olivia_trend_{song_name.replace(" ", "_")}.png', dpi=300) plt.show() if __name__ == '__main__': # 测试可视化 # 需要先有处理好的数据 try: weekly_df = pd.read_csv('olivia_weekly_points.csv') peak_df = pd.read_csv('olivia_peak_points.csv') plot_peak_points(peak_df, top_n=15) # 绘制某首热门歌曲的趋势，例如 ‘vampire’ plot_song_trend(weekly_df, 'vampire') except FileNotFoundError as e: print(f"数据文件未找到: {e}")

4.4 步骤四：编写主程序协调流程 (main.py)

这是项目的入口，它将所有模块串联起来。

# main.py import pandas as pd from billboard_scraper import scrape_hot100_for_artist from data_processor import process_chart_data from visualizer import plot_peak_points, plot_song_trend import logging logging.basicConfig(level=logging.INFO) logger = logging.getLogger(__name__) def main(): # 配置参数 ARTIST_NAME = 'Olivia Rodrigo' START_DATE = '2021-01-01' # Olivia Rodrigo 热单起始时间 CONSTANT = 5 # 点数计算公式常数 # 阶段1：爬取数据（如果已有数据文件，可跳过此步） logger.info("=== 阶段1：开始爬取榜单数据 ===") # 注意：首次全量爬取可能耗时较长，建议先测试少量周数（如max_weeks=5） chart_data_raw = scrape_hot100_for_artist(ARTIST_NAME, start_date=START_DATE, max_weeks=100) # 可根据需要调整max_weeks if chart_data_raw.empty: logger.error("未能爬取到任何数据，程序终止。") return # 保存原始数据 chart_data_raw.to_csv('olivia_hot100_raw.csv', index=False) logger.info("原始数据已保存至 ‘olivia_hot100_raw.csv’") # 阶段2：处理数据，计算点数与峰值 logger.info("\n=== 阶段2：计算点数与峰值 ===") weekly_df, peak_df = process_chart_data(chart_data_raw, constant=CONSTANT) # 保存处理后的数据 weekly_df.to_csv('olivia_weekly_points.csv', index=False) peak_df.to_csv('olivia_peak_points.csv', index=False) logger.info("周度点数数据已保存至 ‘olivia_weekly_points.csv’") logger.info("歌曲峰值数据已保存至 ‘olivia_peak_points.csv’") # 打印峰值排行榜 print("\n" + "="*60) print(f"{ARTIST_NAME} 歌曲 Hot 100 点数峰值排行榜 (常数 C={CONSTANT})") print("="*60) print(peak_df[['song', 'peak_points', 'peak_rank', 'peak_date', 'weeks_on_chart']].to_string(index=False)) # 阶段3：数据可视化 logger.info("\n=== 阶段3：生成可视化图表 ===") # 绘制峰值Top 10 plot_peak_points(peak_df, top_n=10) # 选取峰值最高的歌曲绘制趋势图 if not peak_df.empty: top_song = peak_df.iloc[0]['song'] logger.info(f"正在绘制榜首歌曲 ‘{top_song}’ 的趋势图...") plot_song_trend(weekly_df, top_song) logger.info("\n=== 分析完成！所有结果文件已保存至当前目录。 ===") if __name__ == '__main__': main()

4.5 运行与结果说明

1. 首次运行：在项目根目录下执行python main.py。程序会开始爬取数据（这可能需要一段时间，取决于max_weeks参数），请耐心等待。建议首次运行时将max_weeks设为较小的值（如10）进行测试。
2. 后续运行：如果已经成功生成了olivia_hot100_raw.csv文件，可以修改main.py，注释掉爬取数据的部分，直接从文件读取，以加快处理速度。
3. 输出文件：
   • olivia_hot100_raw.csv: 原始爬取数据（日期、歌曲、排名、歌手）。
   • olivia_weekly_points.csv: 包含计算后点数的周数据。
   • olivia_peak_points.csv: 每首歌的点数峰值、峰值排名、峰值日期及在榜周数。
   • olivia_peak_points_top.png: 峰值点数Top N的条形图。
   • olivia_trend_[song_name].png: 指定歌曲的排名/点数趋势图。
4. 控制台输出：程序会在控制台打印出处理日志和最终的峰值排行榜表格。

预期结果示例（表格摘要）： 根据模型计算，Olivia Rodrigo的歌曲峰值点数排名可能如下（此为模拟数据，实际结果以运行为准）：

song peak_points peak_rank peak_date weeks_on_chart drivers license 166.67 1 2021-01-23 20 good 4 u 142.86 1 2021-05-29 25 vampire 125.00 1 2023-07-15 18 deja vu 111.11 3 2021-05-08 22 traitor 90.91 9 2021-09-11 19

5. 常见问题与排查思路

在运行本项目时，你可能会遇到以下问题：

问题现象	可能原因	解决思路
运行main.py后无任何输出或立即结束。	1. 虚拟环境未激活或依赖未安装。 2. 脚本中存在语法错误。 3.logging级别设置过高（如WARNING）。	1. 激活虚拟环境并执行pip install -r requirements.txt（需先创建requirements文件）。 2. 使用python -m py_compile your_script.py检查语法。 3. 在main.py开头确认logging.basicConfig(level=logging.INFO)。
爬虫模块报错AttributeError: ‘NoneType’ object has no attribute ‘get_text’。	Billboard官网HTML结构已更新，代码中的CSS选择器失效。	这是最常见的问题。打开目标榜单页面，使用浏览器开发者工具重新分析包含排名、歌曲名的HTML元素结构，更新billboard_scraper.py中的soup.select()和.select_one()内的选择器字符串。
爬取过程非常慢，或中途被断开连接。	1. 请求频率过高，触发反爬。 2. 网络不稳定。	1. 增加time.sleep(random.uniform(2, 5))中的延迟时间。 2. 在请求头headers中添加更多浏览器指纹信息（如Accept,Referer）。 3. 考虑使用requests.Session()并处理cookies。
计算出的点数峰值与社区常见数据有差异。	1. 使用的常数C不同。 2. 爬取的数据不完整（如缺少某些周次）。 3. 榜单排名数据有误（如因页面解析错误）。	1. 调整config.py或process_chart_data函数中的constant参数，对比结果。 2. 检查olivia_hot100_raw.csv，确认数据覆盖了歌曲完整的在榜周期。 3. 手动核对几周的关键排名数据是否正确。
matplotlib绘图时中文显示为方框。	系统缺少中文字体或未正确配置。	1. （简单方案）避免在图表中使用中文。 2. （根治方案）下载中文字体（如SimHei），并在绘图代码开头添加配置： plt.rcParams[‘font.sans-serif’] = [‘SimHei’] plt.rcParams[‘axes.unicode_minus’] = False。
程序报错KeyError或Column not found。	CSV文件的列名与代码中引用的列名不一致。	检查pd.read_csv()读取的DataFrame的列名（print(df.columns)），确保与代码中df[‘column_name’]的column_name完全匹配。可能是爬虫或处理步骤修改了列名。

6. 最佳实践与工程建议

将一个小型数据分析项目做扎实，能为大型项目积累宝贵经验。以下是一些提升本项目代码质量和实用性的建议：

1. 配置化管理：将常数（如START_DATE,CONSTANT,REQUEST_DELAY）、URL模板、CSS选择器等放入独立的config.py或settings.yaml文件。这样无需修改核心代码即可调整参数。

2. 数据持久化与增量更新：全量爬取历史数据耗时很长。首次运行后，应实现增量更新逻辑。例如，每次运行只爬取最新一周的榜单，并与本地历史数据合并，去重后保存。

3. 增强爬虫健壮性：

   • 使用retrying库或自定义重试逻辑，应对偶发的网络错误。
   • 定期（如每月）检查并更新CSS选择器，适应网站改版。
   • 将解析逻辑封装在try-except块中，即使某条记录解析失败，也不影响整体流程，并记录错误日志。

4. 模型优化与验证：点数计算模型可以更复杂。例如，考虑排名第1名给予固定高分（如300点），然后按指数衰减。可以尝试不同模型，并与公开的粉丝社区数据对比，通过图形化方式评估哪个模型拟合得更好。

5. 代码可测试性：为关键函数编写单元测试。例如，为calculate_points函数编写测试用例，验证边界情况（排名第1、第100、输入0或负数）。使用pytest框架。

6. 扩展分析维度：

   • 在榜时长分析：统计每首歌首次上榜到最后一次上榜的周数。
   • 峰值后衰减分析：计算歌曲达到峰值后，点数下降到峰值一半所需的周数，衡量歌曲的“耐力”。
   • 多歌手对比：修改爬虫，支持输入多个歌手名，计算并对比他们的综合点数表现。

7. 生产环境考量：如果将此脚本部署为定期自动运行的任务（如每周一爬取上周榜单），需要考虑：

   • 使用任务调度器（如cron,Airflow,Celery）。
   • 将数据存入数据库（如SQLite, PostgreSQL）而非CSV，便于查询。
   • 添加邮件或消息通知，在爬虫失败或数据异常时告警。

7. 总结

通过这个完整的项目，我们不仅得到了Olivia Rodrigo各首单曲在Billboard Hot 100上的点数峰值排名，更实践了一个标准的数据分析流水线：数据获取 (Scraping) -> 数据清洗与计算 (Processing) -> 数据可视化与洞察 (Visualization)。

关键掌握点：

• 实战爬虫：学会了如何分析动态网站结构、编写稳健的抓取脚本、处理反爬策略。
• 数据处理：使用pandas进行数据清洗、转换和聚合计算，将业务规则（点数公式）转化为代码。
• 数据可视化：使用matplotlib创建信息丰富的图表，直观展示分析结果。
• 工程思维：模块化设计、错误处理、日志记录、参数配置，这些习惯对任何规模的开发都至关重要。

下一步可以探索：

• 将本项目封装成一个简单的Web应用（使用Flask或Streamlit），通过网页交互查询和看图。
• 分析其他歌手或乐队的数据，进行横向对比。
• 深入研究Billboard的其他榜单（如Billboard 200，Global 200），构建更全面的音乐数据分析平台。

这个项目的数据和代码是你的起点。你可以修改爬虫选择器来适应其他数据源，调整点数模型以更贴合实际，或者增加更复杂的统计分析。动手运行一遍代码，遇到问题按本文的排查思路解决，你将对音乐数据分析和Python数据处理有更深的理解。