论文阅读 Forecasting at Scale (二)

本文介绍: 最近在看时间序列的文章，回顾下经典。

(T+h∣T),y(T+h))

为了对准确性及其随h的变化进行估计，通常会指定误差项的参数模型，并从数据中估计其参数。例如，如果我们使用AR(1)模型

(

)

(

−

)

(

)

y(t) = α + βy(t − 1) + ν(t)

$y (t) = α + β y (t - 1) + ν (t)$ ，我们会假设

(

)

∼

(

)

ν(t) ∼ Norm al(0,σ_{v}^{2})

$ν (t) \sim N or m a l (0, σ_{v}^{2})$ ，并专注于从数据中估计方差项

σ_{v}^{2}

$σ_{v}^{2}$ 。然后，我们可以通过模拟或使用错误总和的期望的解析表达式来使用任何距离函数形成期望。不幸的是，这些方法只在已经针对过程指定了正确模型的条件下给出正确的误差估计，而这在实践中不太可能发生。

我们更倾向于采用适用于各种模型的非参数方法来估计预期误差。这种方法类似于在独立同分布数据上对进行预测的模型估计外样本误差的交叉验证。给定一组历史预测，我们拟合一个关于不同预测时域h的预期误差模型。

(

)

[

(

)

]

ξ(h)=E[phi (T, h)]

$ξ (h) = E [ϕ (T, h)]$ (8)

该模型应该是灵活的，但也可以提出一些简单的假设。首先，函数在h上应该是局部平滑的，因为我们预计连续几天犯的错误相对类似。其次，我们可能会假设该函数在h上应该是微弱递增的，尽管这并不适用于所有预测模型。在实践中，我们使用局部回归（Clevelan d和Devlin 1988）或同位素回归（Dykstr a 1981）作为误差曲线的灵活非参数模型。

为了生成历史预测误差以拟合该模型，我们使用一种称为模拟历史预测的过程。

4.3、模拟历史预测

我们希望通过拟合（8）式中的预期误差模型来进行模型选择和评估。遗憾的是，使用类似交叉验证的方法比较困难，因为观测数据不可互换 – 我们不能简单地随机划分数据。我们使用模拟历史预测（SHFs）在历史的不同截断点处产生K个预测，这些截断点被选择为使预测时间段位于历史之内，并且可以评估总体误差。这个过程基于传统的“滚动起源”预测评估程序（Tashman，2000），但只使用了一小组截断日期，而不是每个历史日期都进行一次预测。使用较少的模拟日期的主要优点是节约计算资源，同时提供更少相关性的准确度测量。

SHFs模拟了我们在过去的那些时间点上使用该预测方法所犯的误差。图3和图4中的预测就是SHFs的例子。这种方法的优点是简单易懂，容易向分析师和决策者解释，而且用于生成对预测误差的洞察相对无争议。在使用SHF方法评估和比较预测方法时，需要注意两个主要问题。

首先，我们进行的模拟预测越多，它们对误差的估计就越相关。在极端情况下，如果在历史的每一天进行一次模拟预测，考虑到额外的一天信息，预测不太可能发生太大变化，并且从一天到下一天的误差几乎相同。另一方面，如果我们只进行很少的模拟预测，那么我们就只有很少的历史预测误差观测值可供我们基于其选择模型。作为一种经验法则，对于预测时间段为H，我们通常每隔H=2个周期进行一次模拟预测。尽管相关的估计不会引入模型准确度的偏差，但它们会产生较少有用的信息并减慢预测评估的速度。

其次，更多的数据可能导致预测方法的表现更好或更差。当模型规范错误且过度拟合过去时，更长的历史可能会导致更糟糕的预测，例如使用样本均值来预测具有趋势的时间序列。图7显示了LOESS方法在图3和图4的时间序列上使用的预测期间的预期平均绝对百分比误差函数ξ(h)的估计值。该估计是使用九个模拟预测日期进行的，每个季度开始后选择一个日期。Prophet在所有预测时间段上都具有较低的预测误差。Prophet的预测是使用默认设置进行的，调整参数可能进一步提高性能。

在可视化预测时，我们更喜欢使用点而不是线来表示历史数据，因为这些点代表精确的测量结果，永远不会进行插值。然后，我们通过预测叠加线条。对于SHFs，将模型在不同预测时间段上的误差可视化是有用的，既可以作为时间序列（如图3），也可以作为SHFs的汇总（如图7）。

即使对于单个时间序列，SHFs也需要计算许多预测，而且在规模上，我们可能希望对许多不同的指标以及多个不同的聚合级别进行预测。只要这些机器可以写入相同的数据存储，SHFs可以在独立的机器上进行计算。我们将预测和相关误差存储在Hive或MySQL中，具体取决于它们的预期使用方式。

4.4、识别大的预测误差

当有太多的预测需要分析师手动检查时，能够自动识别可能存在问题的预测就变得非常重要。自动识别不良预测可以让分析师更有效地利用有限的时间，并利用他们的专业知识来纠正任何问题。以下是使用SHFs来识别预测可能存在问题的几种方法：

当相对于基准线而言，预测误差较大时，可能是因为模型规范错误。分析师可以根据需要调整趋势模型或季节性模型。
对于特定日期，所有方法都存在较大的误差，这可能是异常值的表现。分析师可以识别并排除异常值。
当某个方法的SHF误差从一个截断点急剧增加到下一个截断点时，这可能表明数据生成过程发生了变化。添加变点或将不同阶段分开建模可能会解决这个问题。

虽然有些问题无法轻易纠正，但我们遇到的大多数问题都可以通过指定变点和排除异常值来纠正。一旦预测被标记为需要审核并可视化，这些问题就很容易被识别和纠正。

5、结论

规模化预测的一个重要主题是，具有不同背景的分析师必须进行比他们能够手动完成的更多的预测。我们预测系统的第一个组成部分是我们在Facebook上对各种数据进行多次迭代预测后开发的新模型。我们使用简单、模块化的回归模型，通常使用默认参数效果良好，并允许分析师选择与他们的预测问题相关的组件，并根据需要轻松进行调整。第二个组成部分是用于测量和跟踪预测准确性，并标记应该手动检查的预测的系统，以帮助分析师进行增量改进。这是一个关键的组成部分，它可以让分析师识别何时需要对模型进行调整，或者何时可能需要完全不同的模型。简单、可调整的模型和可扩展的性能监控结合起来，使大量分析师能够对大量和多样的时间序列进行预测，这就是我们所认为的规模化预测。

6、致谢

我们感谢Dan Merl让Prophet的开发成为可能，并在开发过程中提供建议和见解。我们还感谢Dirk Ed d elbuettel、Daniel Kap lan、Rob Hyndman、Alex Gilgur和Lada Adamic对本文的有益审阅。我们特别感谢Rob Hyndman将我们的工作与主观预测联系起来的见解。