论文笔记：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

2023-11-04

ICLR 2023

1 intro

GNN在基于图的推荐系统中展现了良好的效果
- 这得益于其整合相邻结点信息以进行协同过滤的能力
- 在用户-物品交互图上进行多层的信息传递，以此挖掘高阶的连接信息
很大一部分基于 GNN 的协同过滤模型采用了监督学习的范式
- 这需要大量准确的带标签信息用以训练
- 然而，在实际的应用场景中，数据往往十分稀疏，导致监督学习无充分的信息可供利用。
最新的模型往往采用对比学习来对数据进行增强操作
- 在原有图结构的基础上略作扰动
- 以此增强后的新图产生一组新的表征向量
- 将这组新的表征向量与原图产生的表征向量进行对齐
- 不属于同一结点的表征向量互相推远
虽然对比学习在提升图推荐系统的效果上作用十分明显，但它的效果很大程度上依赖于数据增强的方法
- 绝大部分现有的图对比学习方法使用以下两种方法：
  - 基于随机过程（stochastic-based）
    - 可能会损失图中重要的结构信息，从而误导模型
  - 基于经验的（heuristic-based）
    - 建立在对数据分布较强的假设上
    - ——>这会限制模型的普适性，并容易受数据中的噪声影响
- 同时，绝大部分基于 GNN 的对比学习推荐系统仍然存在图表征过平滑问题，无法有效地将正负样例区分开来
为了解决上述问题，这篇论文重新探索了图对比学习的范式，并提出了一种简单且高效的图对比学习框架 LightGCL
- 图数据增强是由奇异值分解及重构来指导的
  - 奇异值分解重构所得的新图为全连接图，不但能挖掘局部的用户-物品交互信息，而且可以提取全局的协同过滤信号
  - 以奇异值分解重构作为数据增强的方法相比于随机过程或基于经验的方法含有更多有效信息
  - 由于该数据增强方法有效保存了原图的信息，我们得以进一步精简图对比学习的框架，将数据增强图的数量由两个减为一个，大大提升了训练效率。

2 模型部分

2.1 局部图结构信息提取

记用户ui和商品vj的embedding分别为 $e_i^{(u)},e_j^{(v)}\in R^d$
所有用户和商品的embedding是 $E^{(u)}\in R^{I \times d},E^{(v)}\in R^{J\times d}$ ,其中I和J分别是user和item的数量

这里使用两层GCN来聚合每个节点的邻居信息
- - 其中 $Z^{(u)}_{i,l}$ 是第l层用户ui的聚合embedding， $z_{j,l}^{(v)}$ 是第l层用户vj的聚合embedding
  - σ是负斜率为0.5的LeakuReLU
  - $\tilde{A}$ 是规范化的邻接矩阵（这里是一个I*J的邻接矩阵）
  - p是edge drop，用来缓解graph的过拟合
每一层使用残差链接来保持一定的原始信息
最终的每个节点的embedding，是将之前各层的embedding加和

2.2 基于奇异值分解的高效全局信息挖掘

LightGCL 首先对用户-物品交互矩阵进行奇异值分解
- 然后将奇异值由大到小排列，截取最大的q个奇异值，接着便重构邻接矩阵
- 这个重构的邻接矩阵实际上是原邻接矩阵的低阶近似
  - 不仅包含了原邻接矩阵中的重要组分信息
  - 而且由于其为全连接图，考虑了每一对用户和物品之间的潜在关联，更能挖掘图中的全局信息
然而，在大型矩阵上计算精确的奇异值分解需要很长的计算时间，在数据量庞大的推荐场景中并不实际。
- 本文采取了 Halko 等人于 2011 年提出的近似奇异值算法。
  - 近似奇异值算法是一种随机算法，主旨是首先以一个低阶的正交矩阵近似原矩阵的数值范围（range），然后再在这个低阶正交矩阵上进行奇异值分解，以近似原矩阵的奇异值分解。

2.3 对比学习

每一层原始图上的用户/物品，embedding的对比loss
最终预测结果，每个用户i和 positive的物品Ps之间的内积越大越好；每个用户i和 negative的物品Ns之间的内积越小越好

3 实验部分

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

论文笔记

论文阅读

论文笔记：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation 的相关文章

【论文笔记】nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation

nnU Net 一种基于深度学习的自配置生物医学图像分割方法 Results nnU Net的自动配置基于将领域知识提取成三个参数组固定的基于规则的和经验的参数收集不需要在数据集之间进行调整的设计决策并确定稳健的通用配置 fixed
[论文阅读] (02) SP2019-Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks

神经清洁神经网络中的后门攻击识别与缓解 Neural Cleanse Identifying and Mitigating Backdoor Attacks in Neural Networks Bolun Wang Yuanshun Y
短文阅读3：Variational Autoencoders (VAEs)

深度生成网络 VAEs introduction 降维方法 PCA and Autoencoders 降维架构 PCA 问题1 什么是自动编码器autoencoder PCA和Autoencoders之间的关系 Variational Au
论文笔记：A Time Series is Worth 64 Words: Long-term Forecasting with Transformers

ICLR 2023 比较简单就不分intro model这些了 1 核心思想1 patching 给定每个时间段的长度划分的stride 将时间序列分成若干个时间段时间段之间可以有重叠也可以没有每一个时间段视为一个token 1
轻量级网络：ResNeXt

目录 insight Method Template Revisiting Simple Neurons Aggregated Transformations Model Capacity Experiments Experiments o
Dynamic Key-Value Memory Networks for knowledge Tracing

Dynamic Key Value Memory Networks for knowledge Tracing Memory Augmented Neural Networks MANN text MANN MANN是一种用于多种NLP任务
机器学习笔记 soft-DTW（论文笔记 A differentiable loss function for time-series）

1 soft DTW来由 DTW 算法通过动态规划求解了两个序列的相似度这个过程1是离散的不可微的如果要将其应用作为神经网络的损失函数这是不行的因为神经网络通过对损失函数结果进行梯度下降的方法更新参数要求损失函数可微 2 符号
Sequential Recommendation with Graph Neural Networks

Sequential Recommendation with Graph Neural Networks 文章目录 1 背景 2 模型 2 1 Interest Graph Construction 2 1 1 Raw graph cons
论文阅读：BotFinder: A Novel Framework for Social Bots Detection in Online Social Networks Based

目录摘要 1 Introduction 3 Our Proposed Method BotFinder 3 1 Overview 3 2 Step1 Feature Engineering 3 3 Step2 Similarity Cal
次表面散射

专题介绍在实时渲染和离线渲染领域对场景模型表面以及空间介质的精细化建模是增加场景真实感的重要手段计算机图形学领域的许多科研工作者设计出一系列复杂精巧的技术理论模拟出光线从宏观世界到微观粒子的变化规律本期专题精选了近年来关于微表面模
论文阅读 AutoML: A Survey of the State-of-the-Art

论文阅读 AutoML A Survey of the State of the Art 摘要略简介从两个角度介绍NAS 首先是模型的结构常见的结构包括整体结构基于单元的结构层次结构和基于态射的结构等其次是模型的超参数优化 H
OPT-IML:Scaling Language Model Instruction MetaLearning through the Lens of Generalization 论文阅读笔记

OPT IML Scaling Language Model Instruction MetaLearning through the Lens of Generalization 从泛化的角度使用指令元学习扩展语言模型开源模型目前在h
论文笔记：Continuous Trajectory Generation Based on Two-Stage GAN

2023 AAAI 1 intro 1 1 背景建模人类个体移动模式并生成接近真实的轨迹在许多应用中至关重要 1 生成轨迹方法能够为城市规划流行病传播分析和交通管控等城市假设分析场景提供仿仿真数据支撑 2 生成轨迹方法也是目前促进轨迹数
【论文阅读 08】Adaptive Anomaly Detection within Near-regular Milling Textures

2013年太老了先不看比较老的一篇论文近规则铣削纹理中的自适应异常检测 1 Abstract 在钢质量控制中的应用我们提出了图像处理算法用于无监督地检测隐藏在全局铣削模式内的异常因此我们考虑了基于全局傅里叶的方法和局部剪切波
论文笔记：STMARL: A Spatio-Temporal Multi-AgentReinforcement Learning Approach for Cooperative Traffic

0 abstract 智能交通灯控制系统的开发对于智能交通管理至关重要虽然已经做出了一些努力以孤立的形式来优化单个红绿灯的使用但相关研究在很大程度上忽略了多路口红绿灯的使用受到空间影响的事实以及历史交通状态的时间依赖性为此在本文中
蒸馏神经网络(Distill the Knowledge in a Neural Network)

本文是阅读Hinton 大神在2014年NIPS上一篇论文蒸馏神经网络的笔记特此说明此文读起来很抽象大篇的论述鲜有公式和图表但是鉴于和我的研究方向神经网络的压缩十分相关因此决定花气力好好理解一下 1 Introduction
论文笔记： Masked Autoencoders Are Scalable Vision Learners

1 整体思路效仿BERT中MLM的思路随机mask掉输入图像的部分patch 并重建这些被mask掉的patch 机器学习笔记 ELMO BERT UQI LIUWJ的博客 CSDN博客模型结构是一个非对称的encoder decod
论文笔记：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

cvpr2021 0 abstract Transformer 从NLP迁移到CV 会遇到两个挑战语义物体人车的尺寸有大有小如果是像素级别的Transformer 那么resolution太大为了解决上述的两个挑战提出了swi
【论文阅读笔记】BTS-ST: Swin transformer network for segmentation and classification of multimodality breast

Iqbal A Sharif M BTS ST Swin transformer network for segmentation and classification of multimodality breast cancer imag
【每日论文阅读】Do Perceptually Aligned Gradients Imply Robustness?

近似人眼梯度 https icml cc virtual 2023 oral 25482 对抗性鲁棒分类器具有非鲁棒模型所没有的特征感知对齐梯度 PAG 它们相对于输入的梯度与人类的感知非常一致一些研究已将 PAG 确定为稳健训练的副

随机推荐

后端开发学习Vue(一)

Vue的介绍官网 https cn vuejs org Vue是一个简单容易上手前端框架例如下面的代码可以快速构建一个表格
rpy2库

在数据分析中 Python和R各有千秋虽然Python或R都能在数据分析打通关从采集清洗预处理分析可视化但是在不同的环节不同的语言易用程度不同 Python胜在干脏活累活诸如数据采集数据清洗机器学习等而R语言胜在统计
【机器学习】聚类【Ⅰ】基础知识与距离度量

主要来自周志华机器学习一书数学推导主要来自简书博主形式运算的原创博客包含自己的理解有任何的书写错误排版错误概念错误等希望大家包含指正由于字数限制分成五篇博客机器学习聚类基础知识与距离度量机器学习聚类原型聚
用c语言打印九九乘法表

分析这是一个典型的使用循环嵌套的题目把题目分成两部分被乘数和乘数被乘数的变化是从1变化到9 乘数的变化是根据被乘数而来这样就决定了被乘数的变化做为外循环乘数的变化作为内循环 1 1 1 2 1 2 2 2 4 3 1 3 3 2
路径遍历（目录遍历）

一简介路径遍历攻击也称为目录遍历旨在访问存储在web根文件夹之外的文件和目录通过操纵带有点斜线序列及其变化的文件或使用绝对路径来引用文件的变量来访问存储在文件系统上的任意文件和目录包括应用程序源代码配置和关键系统文件
中国移动光猫无线路由一体机如何再接另外一个无线路由器

将无线路由器连接光猫用一条网线一端接入光猫网口1或网口3或网口4 另一端接入无线路由器WAN接口将无线路由器连接电脑用一条网线一端接入无线路器LAN接口另一端插入电脑光猫的默认地址为192 168 1 1 所以无线路由器的LAN口
日期加年，返回年份

日期加年返回字符串 param date str yyyy mm dd 必须是这个格式 param year 加的年 return string 年份 static function dateAddYear date str year i
数据库连接异常:create connection error, url: jdbc:mysql://ip/数据库名, errorCode 0, state 08S01问题处理

今天项目中新增了一部分接口本地测试好之后打包部署到测试环境数据库竟然连接失败报错信息如下 create connection error url jdbc mysql ip 数据库名 errorCode 0 state 08S01 这
solidworks齿轮编辑_如何应用solidworks进行齿轮工程图绘制

引言齿轮是一种常用的传动零件也是机械设计过程中经常需要设计的一种零件由于齿轮的工程图绘制与一般零件有较大区别在利用一般的三维软件设计出三维图形后并不能马上得到准确的二维图形这种情况会大大降低工程技术人员的设计速度增加设计成本 S
安卓数据线ssh连树莓派（超简单）

无需联网无需无限网卡树莓派 sudo vim etc network interfaces 添加或修改这句iface usb0 inet dhcp 然后手机数据线插上树莓派开启usb网络共享用better terminal或者ter
记录一个std::future和std::async的demo

Demo和代码简述子线程函数参数a传进去模拟遇到的带参数问题函数的返回值可以是处理完的任意值若有返回值则get 到的就是返回值比如这个demo里get到的就是3 int TestNoClass int a int main int
LFSR

c语言中实现LFSR define CRT SECURE NO WARNINGS include
同步式SPWM两电平正弦脉宽调制逆变器（全波三角波）——正弦波为调制波（双重傅里叶分析）

SPWM正弦脉宽调制介绍 SPWM是调制波为正弦波载波为三角波或锯齿波的一种脉宽调制法特点原理简单通用性强控制和调节性能好具有先出谐波调节和稳定输出电压的多种作用是一种比较好的波形改善法分类分为两阶式和三阶式两种阶指
S3C2440读写sd卡的一些总结

整理硬盘的时候发现这个文档以前写2440操作sd卡程序的时候总结的 1 我的2440 sdi对sd卡发送ACMD41时总是反馈crc fail 但是可以得到正确的response sd卡可以正常使用 2 sd卡可以没有mbr 在物理的 0
推理规则的具体应用

小伙伴们大家好呀相信步入大二的同学们肯定会学到离散数学而推理规则是离散数学中最fundmental and important 的知识体系今天我们来说说基本的推理规则 Firstly 推理 inference rules 是前提
hibernate--lazy(懒加载)属性

关联映射文件中
线性表之单链表

include stdafx h include
WebRTC学习（二）Windows10平台WebRTC编译（VS2017）

1 Visual Studio 2017安装 WebRTC用到了很多C 最新特性所以编译最新WebRTC代码VS要求为2017 gt 15 7 2 版本 2 安装SDK调试工具由于最新WebRTC源码要求10 0 18362及以上Win
wordpress线上部署&更新主题

目录新增主题主题介绍部署到线上更新主题新增主题随便复制一个主题到test文件夹 test主题文件cnpm I npm i 失败的可以使用淘宝镜像 cpm i 热更新主题介绍 test目录下的style css Theme Na
论文笔记：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

ICLR 2023 1 intro GNN在基于图的推荐系统中展现了良好的效果这得益于其整合相邻结点信息以进行协同过滤的能力在用户物品交互图上进行多层的信息传递以此挖掘高阶的连接信息很大一部分基于 GNN 的协同过滤模型采用了监督

论文笔记：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation

1 intro

2 模型部分

2.1 局部图结构信息提取

2.2 基于奇异值分解的高效全局信息挖掘

2.3 对比学习

3 实验部分

论文笔记：LightGCL: Simple Yet Effective Graph Contrastive Learning for Recommendation 的相关文章

随机推荐

热门标签