皇冠hga038安卓版客户端下载 皇冠hga038安卓版客户端下载 皇冠hga038安卓版客户端下载

基于时间和上下文对比学习的时间序列预测方法

原始资料

论文题目:时间序列预测通过时间和上下文对比表示学习

接受会议:2022年环太平洋人工智能国际会议(CCF C)

作者名单

1)刘阳阳,中国石油大学(北京)信息科学与工程学院控制科学与工程研究所 20

2) 中国石油大学(北京)信息科学与工程学院自动化系刘建伟

背景和动机

时间序列分类任务不同于传统的分类任务。时间序列分类的目的是按时间顺序对有序序列进行分类。例如ECG/EEG信号分类、运动传感器数据分类等。最近的研究表明,时间序列分类任务逐渐成为时间序列领域最重要的研究任务。研究人员提出了很多时间序列分类模型,并取得了很好的效果。这些时间序列分类模型大多使用深度学习的方法来学习数据特征,而深度学习需要大量的标注数据。但在实践中,收集足够多的标记时间序列数据并不容易。同样,人工标注也很难获得大量的标注数据。所以,

为了解决标记时间序列数据不足的问题,研究人员提出使用自监督隐藏表示学习方法。2021 年,Elle 等人。提出了一种基于时间和上下文的无监督时间序列对比学习框架(TS-TCC)。TS-TCC 对未标记时间序列数据的分类任务表现良好。此外,与以前的监督模型相比,TS-TCC 在时间序列分类任务上取得了更好的准确性。为了进一步提高模型的鲁棒性,我们提出了一种基于时间和上下文对比学习的时间序列预测模型(PTS-TCC)。PTS-TCC模型由四个模块组成:聚类、数据隐藏表示学习、时间隐藏表示学习和上下文隐藏表示学习。与 TS-TCC 不同,PTS-TCC 利用聚类和信息器来增强模型的鲁棒性。与 Transformer 相比,Informers 可以学习更好的时间隐藏表示。此外,我们的聚类模块将同一簇中的数据作为输入数据的正例,将其他簇中的数据作为负例,增强了模型的识别能力。

设计与实施

PTS-TCC模型的主要组成部分和各个模块的作用,模块之间的参数传递如下:

(1) 聚类模块。聚类模块的主要作用是对输入的时间序列进行聚类,增强模型对数据特征的学习能力,提高模型的鲁棒性。聚类模型的输入是

留数法求双边序列_时间序列预测法例题_序列的傅里叶变换例题

经过聚类模块,可以得到输出向量

留数法求双边序列_时间序列预测法例题_序列的傅里叶变换例题

(2) 数据隐藏表示学习模块。数据隐藏表示学习模块的主要作用是增强模型学习数据特征的能力。在这个模块中,输入向量是

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

应用不同的数据增强策略后,我们将得到两个输出数据隐藏表示向量

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

(3) 时间隐藏表示学习模块。时间隐藏表示学习模块的主要作用是增强模型学习时间序列数据依赖关系的能力,提高PTS-TCC的鲁棒性。在这个模块中,输入向量是

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

经过时隐表示学习模块处理后,得到两个输出的时隐表示向量

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

(4) 上下文隐藏表示学习模块。上下文隐藏表示学习模块的主要作用是学习更具判别性的隐藏表示,提高 PTS-TCC 的鲁棒性。在这个模块中,输入向量是

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

经过上下文隐藏表示学习模块处理后,我们将得到和之间的相似度

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

(5) 最小化损失函数如下。在这个函数中,

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

序列的傅里叶变换例题_时间序列预测法例题_留数法求双边序列

是PTS-TCC的超参数,即每个损失函数的权衡参数。和不同数据增强策略的损失函数。

留数法求双边序列_时间序列预测法例题_序列的傅里叶变换例题

留数法求双边序列_序列的傅里叶变换例题_时间序列预测法例题

是不同数据增强策略的损失函数。

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

用于上下文隐式表示的学习模型的损失函数。

留数法求双边序列_时间序列预测法例题_序列的傅里叶变换例题

实验结果

我们将 PTS-TCC 与 6 种时间序列学习算法学习算法进行比较,并进行十倍交叉验证。我们在三个数据集上测试我们的模型:人类活动识别、癫痫发作预测和睡眠阶段分类。实验结果如下表所示时间序列预测法例题,评价指标为平均准确度、标准差和离散系数。表中的数据表明,我们的模型提高了模型的准确性,同时保证了模型在不同的未标记时间序列数据集中的鲁棒性。

序列的傅里叶变换例题_时间序列预测法例题_留数法求双边序列

时间序列预测法例题_序列的傅里叶变换例题_留数法求双边序列

概括

我们提出了一种基于时间和上下文对比学习的时间序列预测方法(PTS-TCC),适用于时间序列的分类任务。PTS-TCC 由聚类模块、数据增强策略和 Pro-self-attention 组成。PTS-TCC 的模型能够更好地学习数据特征和数据之间的依赖关系。因此,我们的模型在更好的鲁棒性的基础上提高了分类精度。实验结果表明时间序列预测法例题,我们的模型通常优于基线模型。在未来的工作中,我们将探索对比学习在异步事件序列中的应用。

关于作者

刘建伟,副教授

博士生导师/硕士生导师。长期从事模式识别与智能系统、复杂系统分析与智能控制、机器学习与数据挖掘等方面的研究。美国数学会数学评论审稿人,中国人工智能学会机器学习分会高级会员。在《计算机学报》、《自动化学报》、《计算机研究与发展》、《神经计算》、《TNNLS》等国内外会议发表学术研究论文200余篇,其中三大类检索150余篇.