如何：处理时间序列的缺失数据-平芜编程栈

原文：towardsdatascience.com/how-to-handle-missing-data-for-time-series-680810f648ed

如何：处理时间序列的缺失数据

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/d30ad994a36a0c060c199b5a946fb618.png

图片由 Mika Baumeister 在 Unsplash 上提供

没有完美无缺的数据集。每个数据科学家都知道在数据探索过程中，当他们调用：

df.info()

并看到如下内容时那种感觉：

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/389cb7a077cffb932261cc18a03fd758.png

UCI 机器学习仓库空气质量数据集信息 (CC BY 4.0)。图片由作者提供

大多数机器学习模型无法处理 NaN 或空值，因此如果您的特征或目标包含它们，在尝试将模型拟合到数据之前，它们必须得到适当的处理。

在这篇文章中，我将探讨处理时间序列数据集中空值/缺失数据的 3 种简单方法。

1. 删除空值

这可能是处理缺失数据最简单、最直接的方法：就是将其删除。

# Drop any and all nulls across all columnsdf.dropna(inplace=True)

默认情况下，pandas 的 dropna 函数会在所有列中搜索空值，并删除任何列中存在空值的行。然而，这可以通过各种参数进行修改。

在这个数据集的情况下，注意列 NMHC(GT) 只有 914 个非空值。因此，如果我们删除所有空值，我们的模型最终最多只有 914 行（可能更少）数据。这与原始的 9,357 行相比是一个巨大的减少！

通过指定subset的列，pandas 将只删除数据框中那些特定列存在空值的行。

df.dropna(subset=['CO(GT)','PT08.S1(CO)'],inplace=True)

这样我们就可以混合匹配方法，在一些列中删除空值，而在其他列中采取不同的处理方式。

您也可以指定是否只想删除所有列都为空的行，通过设置参数how为 “all”。默认的 how 值为 “any”。

2. 插值处理空值

另一种填充空值简单的方法是通过插值。Pandas 的 interpolate 方法默认使用线性插值。

线性插值基本上取空值前后两个值，并在它们之间创建一条线。然后它使用这条线来估计缺失数据点的值。Pandas 的 interpolate 方法假设每个数据点都是等间距的。如果你没有每个可能时间戳的行，只要你有 datetime 索引，你可以将插值方法设置为"time"。这样，如果你有两个连续的行，它们之间间隔大于 1 个区间（例如大于 1 天或 1 小时），插值将考虑这个距离。

如果这是第一个索引，由于没有值在空值之前，它将不会进行插值。

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/5db600e1977266da37366d0ce61b59bf.png

图片由作者提供

在这个例子中，由于有一个空值正好位于两个已知值中间，插值很简单。所有值都均匀分布在 1 小时内。索引为 10 的空值将简单地是前后值的平均值（0.65）。

如果有 2 个或更多连续的 NaNs，它们将考虑它们与已知值之间的距离进行插值。

更多关于线性插值工作原理的详细信息，请参阅这里。

你可以通过limit关键字参数设置连续 NaNs 的最大插值数量。如果有很多连续的 NaNs，你可能想在插值到一定点后直接删除这些值，因为每次插值都会给算法引入不确定性。更多的插值意味着更大的不确定性，尤其是在时间序列的情况下。

3. 填充空值

我要介绍的最后一个方法是填充。填充本质上意味着你用数据的平均值或中位数来填补空值。

做这件事最简单的方法是使用 pandas 的 fillna 函数，并取整个列的中位数。

df.fillna(df['CO(GT)'].median())

但是，当涉及到时间序列时，整个数据集的中位数往往不准确。时间序列数据通常具有季节性模式，其中使用量根据一天中的小时、一周中的日子、月份等而变化。

在这个例子中，我决定使用该小时的中位数来填充 CO(GT)列。

为了能够使用中位数进行填充，我提出了自己的解决方案，因为没有直接的方法或库来做这件事（据我所知）。我首先创建了一个包含所有相应小时中位数的 dataframe。

# Create dataframe which contains the median for each column grouped by# hourhour_df=pd.DataFrame(df.groupby([df.index.hour]).median())hour_df.reset_index(inplace=True)

https://github.com/OpenDocCN/towardsdatascience-blog-zh-2024/raw/master/docs/img/7ff4d7b0ae9a4afcda3e8a0732f2c153.png

结果的分组中位数按小时显示的数据框。仅显示前 5 小时和 3 列。图片由作者提供

接下来，我创建了一个名为 get_hour_median 的函数。虽然我只展示了 CO(GT)列，但我使这个函数足够灵活，可以处理任何列名。

defget_hour_median(hour,col_name):median=hour_df[hour_df['Datetime']==hour][col_name].values[0]returnmedian

然后我使用 apply 和另一个自定义函数将此函数应用于 CO(GT)列。

# Reset datetime index for easier processing in functions belowdf.reset_index(inplace=True)# Takes in a dataframe row and returns a median value if row# is null, otherwise return original value.deffill_with_hourly_median(row,col_name):ifpd.isnull(row[col_name]):returnget_hour_median(row['Datetime'].hour,col_name)else:returnrow[col_name]# Apply fill_with_hourly_median to CO(GT) columndf['CO(GT)']=df.apply(fill_with_hourly_median,axis=1,col_name='CO(GT)')