顶会VLDB‘22论文解读：多元时序预测算法METRO

本是古典何须时尚 2022-09-17 03:09 179阅读 0赞

> **摘要：**本文提出了一个端到端的MTS预测框架METRO。METRO的核心思想是利用多尺度动态图建模变量之间的依赖关系，考虑单尺度内信息传递和尺度间信息融合。

本文分享自华为云社区《[VLDB'22 METRO论文解读][VLDB_22 METRO]》，作者：云数据库创新Lab 。

## 0 导读 ##

本文(METRO: A Generic Graph Neural Network Framework for Multivariate Time Series Forecasting)是由华为云数据库创新Lab联合电子科技大学数据与智能实验室发表在顶会VLDB‘22的文章，该文章提出了一种的多元时序预测算法METRO。VLDB是CCF推荐的A类国际学术会议，是数据库领域顶级学术会议之一。该论文是云数据库创新LAB在时序分析层面取得的关键技术成果之一。

METRO是基于自注意力机制（self-attention）的深度学习算法。该算法能有效学习历史数据的多种周期性以及提取不同时间线的相关性，为时序预测任务提供更准确的结果，使时序数据库具有强大的分析能力。目前METRO已经作为GaussDB for Influx的时序预测算子在华为云上线，应用场景包括对服务器容量指标进行预测，指导服务器扩容操作；以及对交通路段拥堵程度预测，动态指导地图路径规划等。结合METRO提供的强大分析能力以及GaussDB for Influx已有的超大规模时间线快速读写能力，GaussDB for Influx已具备从大规模时序数据中持续挖掘数据潜在价值的能力。

## 1 背景 ##

多元时间序列（Mltivariate Time Series, MTS）预测因具有广泛的应用场景而受到越来越多的关注。目前的多元时间序列模型普遍具有以下不足：

*  忽视了变量间依赖关系的动态特性。
 *  没有充分考虑一个时间序列内不同尺度的时序模式

因此，本文提出了一个端到端的MTS预测框架METRO。METRO的核心思想是利用多尺度动态图（Multi- scale temperal graph）建模变量之间的依赖关系，考虑单尺度内信息传递和尺度间信息融合。同时，METRO也是一个通用的框架，现有的基于图神经网络的MTS预测模型可以被描述成METRO的特例。我们在公开的真实数据集和华为云的在线生产环境上进行了大量实验，结果表明，METRO在预测准确性，运行时间，模型大小上都优于SOTA。同时，我们也通过例化多个基于METRO的预测模型，展示了他们在性能和时间空间开销之间的的trade-off。

## 2 METRO ##

### 2.1 定义 ###

**定义1 动态图（Temporal graph）**: 我们将多元时间序列的变量描述成节点，变量之间的依赖关系描述成边，则动态图G(t)=(V(t),E(t))*G*(*t*)=(*V*(*t*),*E*(*t*))可被用来建模变量之间的动态相关性。动态图可以看作一系列静态图组成的时间序列。如下图所示。

![42e75e597134d8191502850202774391.png][]

**定义2 多尺度动态图（Multi-scale Temporal graph）**: 若动态图中的每个时间步都是在时间尺度s*s*下观察/归纳得到的，我们称该动态图是关于尺度s*s*的，记为G\_s(t)=(V\_s(t),E\_s(t))*Gs*(*t*)=(*Vs*(*t*),*Es*(*t*))。利用多个时间尺度观察原始MTS，则可得到多尺度动态图。如下图所示。

![7753044742fa67edf27474aa089a464f.png][]

### 2.2 模型框架 ###

METRO包含四个部分，temporal graph embedding (TGE) 模块，singe-scale graph update (SGU) 模块, cross-scale graph fusion (CGF) 模块 和 predict 模块。

![7473485cc9179bebcdc8c1489ed8212b.png][]

### 2.3 TGE ###

TGE类似编码器，利用函数emb()*emb*()得到原始MTS中变量对于不同时间尺度s\_i*si*的表示，也即获得动态图中节点的嵌入向量\\mathbf\{H\}^\{l\}(\{t\})**H***l*(*t*)。emb()*emb*()可被实现成拼接，求和，卷积，LSTM，GRU等等。

![1a1f9309c7cc686e74a2722b4c6a83e7.png][]

### 2.4 SGU ###

对于TGE的到的多尺度动态图，SGU按照尺度分别处理，完成在单一尺度下动态图内的信息传递。

首先，由于变量之间的依赖关系未知且动态变化，我们使用图学习函数g\_m()*gm*()自动学习变量在相邻时间步之间的联系，即邻接矩阵A*A*， 再通过msg()*msg*()函数建模相邻时间步之间的信息，记为m*m*。

![d8d907fedfc03368c4203695b3faa215.png][]

![e4bba34942ae2bbc7c172735b6e8b1e1.png][]

接下来，agg()*agg*()函数被用来聚合所有m*m*，得到\\widetilde\{m\}*m*，\\widetilde\{m\}*m*可被看作是一张包含了整体序列信息的新图。对于时间步t*t*，我们利用所有t*t*时刻之前的信息聚合得到的\\widetilde\{m\}*m*来对其进行更新，得到\\hat\{\\mathbf\{H\}\}^\{l+1\}(\{t\})**H**^*l*\+1(*t*)。

![595f2d06e3630c3647410b13266dfcc4.png][]

其中，msg(),upd()*msg*(),*upd*() 可被实现成GCN，Transformer。agg()*agg*()可被实现成多数时序模型，例如Transformer，LSTM，GRU等。 g\_m(),g\_u()*gm*(),*gu*()在目前的工作中曾被实现成 transfer entropy，线性层等，也可以利用attention模型。

当对于t*t*的部分未来信息也可获得时，也可将其加入用于更新，这在本文中被称作SUG-C (SUG-Contextual)。

### 2.5 CGF ###

![401b2cce9ca3e218b2b680d140729dc1.png][]

多尺度融合可使模型自动地选择有效的时间尺度组合，以适应当前预测的horizon。在CGF模块，我们首先通过samp()*samp*()函数找到可融合的时间步，其需满足对应的原始时间片段可对齐。再通过g\_f(),fuse()*gf*(),*fuse*() 函数进行图结构的学习和信息传播，此步可用的实现与SUG类似。

![b07110aabed63467c5e23fe392a7a40e.png][]

![f3d8640577590b87c4980126e7b65425.png][]

SGU与CGF可堆叠多层，以通过增加深度增加模型expressiveness。

### 2.6 Predict ###

最终的预测结果取CGF最后一层，输入pred()*pred*()函数获得。pred()*pred*()可被实现为常见的输出层，例如线性层等。

### 2.7 实例化METRO ###

我们对METRO进行了如下实例化。

![488f3fb2fae66a9cb2ba98e9416aba3d.png][]

## 3 实验 ##

### 3.1 在公开数据集上与baseline比较 ###

![7791b1bd41084d04e129d6801af7b81b.png][]

在四个公开数据集，4个预测horizon上，METRO-attn相对于SOTA模型获得了更好的RSE和CORR。

### 3.2 开销和准确率的权衡 ###

![2ee3b2812e747971bcad6ef8c80e1a6a.png][]

我们总结了METRO的各个实例化模型对应准确率与训练时间/测试时间/GPU memory/model size的关系，因引入了SOTA模型做比较，发现METRO模型总体开销显著低于SOTA，且由于模块的实现方式不同，METRO模型内部也存在着不同的准确率-开销trade off，其中，METRO-attn是一个有效且相对简单的实现。

### 3.3 模型参数分析 ###

![b031973b9b4ec06b93acddb7aef14efc.png][]

![e11e720204f0887a4cc3d9a869263447.png][]

![0db0a32d02804c46708dce11303666ab.png][]

![b53aadefc62e4a6e697b2c4d3b91cbfa.png][]

我们在METRO-attn上进行了参数分析，得到了使用较多时间尺度有利，大时间尺度对于长horizon预测有利等结论。

## 4. 应用 ##

![6364840617263c0d9920622f53b3305e.png][]

我们将METRO应用于华为云真实生产环境，于其产生的私人数据集上进一步测试了模型效果，实验表明，METRO显著优于SOTA模型。

## 5. 总结 ##

本文提出了一个端到端的MTS预测框架METRO。METRO的核心思想是利用多尺度动态图（Multi- scale temperal graph）建模变量之间的依赖关系，考虑单尺度内信息传递和尺度间信息融合。我们在公开的真实数据集和华为云的在线生产环境上进行了大量实验，结果表明，METRO在预测准确性，运行时间，模型大小上都优于SOTA。

目前METRO已经作为GaussDB for Influx的时序预测算子应用在了生产环境中，应用场景包括对服务器容量指标进行预测，指导服务器扩容操作；交通路段拥堵程度预测，动态指导地图路径规划等。结合METRO提供的强大分析能力以及GaussDB for Influx已有的超大规模时间线快速读写能力，GaussDB for Influx已具备从大规模时序数据中持续挖掘数据潜在价值的能力。

华为云数据库创新lab官网：[云数据库创新Lab-主页-华为云][Lab-_-]

**[点击关注，第一时间了解华为云新鲜技术~][Link 1]**

[VLDB_22 METRO]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs/306343%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Ddatabase%26utm_content%3Dcontent
[42e75e597134d8191502850202774391.png]: /images/20220828/759935229c6e4675886ca377223666a5.png
[7753044742fa67edf27474aa089a464f.png]: /images/20220828/bb1ab1ce1087460ab4a1fd1083019fe9.png
[7473485cc9179bebcdc8c1489ed8212b.png]: /images/20220828/c2ad0ff9940541ad97779b0eaaaef929.png
[1a1f9309c7cc686e74a2722b4c6a83e7.png]: /images/20220828/6c140d01c2044a83bdc75fe7a5b4a04f.png
[d8d907fedfc03368c4203695b3faa215.png]: /images/20220828/6cbc42a435e348b89d605374e93e2e9e.png
[e4bba34942ae2bbc7c172735b6e8b1e1.png]: /images/20220828/d34519b3ca4f40afab1a88eb4c677222.png
[595f2d06e3630c3647410b13266dfcc4.png]: /images/20220828/e2b8eb7a96604a7b99d254ba03ca275c.png
[401b2cce9ca3e218b2b680d140729dc1.png]: /images/20220828/7b7e69675ed6471aa5cf9c588f33fd92.png
[b07110aabed63467c5e23fe392a7a40e.png]: /images/20220828/2df38812e27444bf91420235531b09b9.png
[f3d8640577590b87c4980126e7b65425.png]: /images/20220828/b7946381a12a48ef8d1ab6a2672492dc.png
[488f3fb2fae66a9cb2ba98e9416aba3d.png]: /images/20220828/79e56d89edf14377a0443f984932586c.png
[7791b1bd41084d04e129d6801af7b81b.png]: /images/20220828/983a48813b624bc78223da7c5f60e228.png
[2ee3b2812e747971bcad6ef8c80e1a6a.png]: /images/20220828/5eae20c016054500865c8c7d2bcbeca5.png
[b031973b9b4ec06b93acddb7aef14efc.png]: /images/20220828/bb04bc54cf364e59aea000d9ddb40c05.png
[e11e720204f0887a4cc3d9a869263447.png]: /images/20220828/4abd9c8de38c4816a50331cd73dc02fd.png
[0db0a32d02804c46708dce11303666ab.png]: /images/20220828/760d91bc67d84eb5a6c39d34e7bcb6a1.png
[b53aadefc62e4a6e697b2c4d3b91cbfa.png]: /images/20220828/bfd9cb46696e4548bc47b2fb7f8f7740.png
[6364840617263c0d9920622f53b3305e.png]: /images/20220828/ec4214ef05094739a560bd80e88ee31b.png
[Lab-_-]: https://www.huaweicloud.com/lab/clouddb/home.html
[Link 1]: https://link.zhihu.com/?target=https%3A//bbs.huaweicloud.com/blogs%3Futm_source%3Dzhihu%26utm_medium%3Dbbs-ex%26utm_campaign%3Ddatabase%26utm_content%3Dcontent