2022 SigSpatial

1 intro

1.1 背景

• 论文认为数据稀缺是阻碍时空图（STG）预测的一个关键问题
  • 在这一领域的公共数据集通常只包含几个月的数据，限制了可以构建的训练实例数量
  • ——>学习模型可能会对训练数据过拟合，导致泛化性能较差
• 自监督学习在graph任务中展现出巨大的潜力
  • 从数据本身中获取监督信号，通常利用数据的潜在结构
  • 大多数表现最佳的自监督方法都基于对比学习
    • 基本思想
      • 在具有类似语义（positive pair）的节点或图的表示之间最大化一致性
      • 在没有关联语义信息（negative pair）的表示之间最小化一致性
    • 通常通过对同一输入（锚点，anchor）应用数据增强来建立正对
      • 负对则是在一个批次内的锚点和所有其他输入视图之间形成的
    • 图对比学习（GraphCL）的loss略有别于InfoNCE，分母没有正样本对的那一项
      •  

1.2 贡献

• 论文首次系统地研究一个关键问题
  • 能否利用对比学习技术所衍生的额外自监督信号来缓解数据稀缺，从而有益于STG预测？
  • 如何将对比学习整合到时空神经网络中？
• 具体而言，论文希望解决以下的四个问题
  • Q1：在将对比学习与STG预测整合时，什么是适当的训练方案？（pretrain+finetune，还是联合训练？）
    • 
    • A1：通过在流行的STG基准测试中评估，我们证明了在预训练方案中联合进行预测和对比任务的有效性
  •  Q2:对于STG，有两种可能的对象（节点或图）可以进行对比学习。应该选择哪一个？
    • 
    • A2：实证研究表明，图层次的对比与预测联合学习方案结合可以取得最佳性能
  • Q3：应该如何执行数据增强以生成正对？增强方法的选择是否重要？
    • A3：论文为STG数据引入了四种数据增强方法，这些方法在图结构、时间域和频率域三个方面扰动输入数据。我们的实验显示，模型对所提出的增强方法的语义并不敏感。
  • Q4：给定一个锚点，是否应该将所有其他对象视为负对？如果不是，如何筛选出不合适的负对？
    • A4：基于STG的独特特征，如时间紧密度和周期性，我们建议根据每个锚点过滤出“最难的负对”（最不应该是负样本的那些点），从而在真实世界的基准测试中提高预测准确性

2 方法

2.1 训练策略（问题1）

2.1.1 两种训练策略

• 预训练与微调
  • 首先通过数据增强生成相同输入G的第一个视图G'和第二个视图G''
  • 然后，我们将这些视图依次输入STG编码器（学习时空图的时间和空间依赖性的模型）和投影头中
    • 这些模块将根据对比目标函数L