数据合并和处理缺失值的具体案例 数据合并案例场景
数据合并案例场景
在实际业务中，我们经常需要将来自不同来源的数据进行合并，以便进行全面分析。例如，一家电商平台可能有一个包含客户基本信息的表和一个记录客户购买历史的表。这两个表通过客户ID关联，但可能存在部分客户只有基本信息没有购买记录，或者只有购买记录没有基本信息的情况。这种情况下，如何有效地合并这两个数据源，并妥善处理合并后可能出现的缺失值，是数据分析中常见且重要的问题。
创建示例数据
下面我们使用Python的pandas库来创建两个示例数据集，分别模拟客户基本信息和客户购买记录：
python import pandas as pd
客户基本信息
customer_info = pd.DataFrame({ 'customer_id': [1, 2, 3], 'name': ['Alice', 'Bob', 'Charlie'], 'email': ['alice@example.com', 'bob@example.com', None] })
客户购买记录
purchase_info = pd.DataFrame({ 'customer_id': [1, 2, 3, 4], 'purchase_amount': [100, 150, 200, 300] })
合并数据
merged_data = pd.merge(customer_info, purchase_info, on='customer_id', how='outer') print(merged_data)
合并操作原理
数据合并的核心在于找到两个数据集中共同的关联键（本例中的customer_id），然后根据指定的合并方式（如inner、outer、left、right）决定如何处理不匹配的记录。outer合并会保留两个数据集中的所有记录，当某条记录在另一个数据集中不存在时，相关字段会自动填充为缺失值（NaN）。这种合并方式特别适用于需要完整记录分析的场景，尽管它会引入缺失值需要后续处理。
缺失值处理方法
合并后的数据通常会包含缺失值，特别是当两个数据源中的记录不完全匹配时。处理缺失值的方法有多种：
- 删除法：直接删除包含缺失值的行（适用于缺失较少的情况）
- 填充法：用特定值（如均值、中位数、众数或特定字符串）填充缺失值
- 插值法：根据其他数据推测缺失值
- 标记法：将缺失值视为一个特殊类别
实际应用案例
假设我们合并后的数据如下：
customer_id name email purchase_amount 0 1 Alicealice@example.com100.0 1 2 Bobbob@example.com150.0 2 3 Charlie None 200.0 3 4 NaN None 300.0
可以看到，customer_id为4的记录在基本信息表中不存在，导致name和email为NaN；而customer_id为3的记录email缺失。我们可以选择用unknown填充name列的缺失值，用no_email填充email列的缺失值：
python merged_data['name'].fillna('unknown', inplace=True) merged_data['email'].fillna('no_email', inplace=True) print(merged_data)
应用意义与扩展
通过合理的数据合并和缺失值处理，我们可以：
- 获得更完整的客户视图，支持更全面的业务分析
- 为机器学习模型提供干净的数据输入
- 发现数据质量问题，如某些客户只有购买记录没有基本信息
- 支持跨部门数据整合，打破数据孤岛
这种技术在客户关系管理、销售分析、市场细分等多个业务场景中都有广泛应用，是数据整合分析的基础技能。
