本篇文章主要介绍王翔、何向南老师团队在SIGIR2021上发表的文章SGL，Self-supervised Graph Learning for Recommendation^[1]。这篇文章提出了一种应用于用户-物品二分图推荐系统的图自监督学习框架。核心的思想是，对输入的二分图，做结点和边的dropout进行数据增强，增强后的图可以看做原始图的子视图；在子视图上使用任意的图卷积神经网络，如LightGCN^[2]来提取结点的表征，对于同一个结点，多个视图就能形成多种表征；然后借鉴对比学习^[5]的思路，构造自监督学习任务，即：最大化同一个结点不同视图表征之间的相似性，最小化不同结点表征之间的相似性；最后对比学习自监督任务和推荐系统的监督学习任务联合起来，构成多任务学习的范式。

最近在调研内容理解相关的工作，发现了KDD 2019上，腾讯和阿尔伯塔大学刘邦大佬^[2]合作的工作 A User-Centered Concept Mining System for Query and Document Understanding at Tencent ^[1]，以用户为中心的概念挖掘系统在查询和文档理解中的应用。这篇文章信息量非常大，是一篇非常偏实践性的文章，值得深读。网上关于这篇文章的介绍主要是参考文献^[3,4]，其关于背景和技术的介绍比较到位，但是对整个工作脉络以及关键技术细节的梳理不太够。故借此机会，主要按照原文的行文思路，重新梳理下整个工作流程以及一些在内容理解中可能会用到的关键技术。

这篇文章主要介绍周国睿大佬的新工作：CAN: Revisiting Feature Co-Action for Click-Through Rate Prediction ^[1]。这个工作提供了一种新的特征交互思路，在特征工程上手动特征交叉和模型上自动特征交叉之间做了折衷，也是记忆性和泛化性的互补。可以认为是开创了特征交互的新路线。

排序是对一组物品列表按照某种方式进行排序，来最大化整个列表的效用的过程，广泛应用于搜索引擎、推荐系统、机器翻译、对话系统甚至计算生物学。一些监督机器学习技术经常被广泛应用在这些问题中，这些技术称作排序学习技术。本文会对排序学习进行调研。

本文对目前流行的推荐系统算法进行调研，主要参考三篇综述和一本手册。综述包括：推荐系统主流算法综述、基于协同过滤技术的推荐系统算法综述、基于深度学习的推荐系统算法综述。手册是经典推荐系统参考手册。另外，还会不断跟进目前主流和前沿的推荐技术，本调研会不断更新。

本系列首先会介绍王翔老师^[1]和何向南老师^[2]在WSDM 2020/CIKM 2019上的Tutorial^[3]：Learning and Reasoning on Graph for Recommendation中所涉及的“基于信息传递框架的图自编码范式”，即：基于信息传递框架来做结点的图表征。这个范式能够将GNN各组件拆解开来，并各自迭代和优化，对于模型优化迭代和编程实践有非常好的启发。

后续我会基于这样的范式，重新梳理图表示学习在推荐系统中常见的用户-物品交互数据上的建模方法。我们可以将用户-物品的交互数据看做是关于user-item的二分图(Bipartite Graph)，这样可以基于GNN的方法进行user和item嵌入的学习。我将重点探讨如何基于信息传递框架来拆解目前主流的二分图表示学习方法，不同的方法是如何针对不同的组件做改进和迭代，我会对8篇顶会文章的改进脉络做一个系统性地梳理。

本篇文章将主要介绍基于信息传递框架的图自编码范式。

本篇文章主要介绍邱锡鹏老师在2020年发表的一篇预训练模型的综述：Pre-trained Models for Natural Language Processing: A survey ^[1]。

本文主要调研了两篇基于分离式表征(Disentangled Representation)的图神经网络文章。

• ICML2019 | DisenGCN: Disentangled Graph Convolutional Networks：清华崔鹏老师团队的工作，基于分离式表征的图神经网络的奠基性工作。
• SIGIR2020 | DGCF: Disentangled Graph Collaborative Filtering：中科大何向南团队的工作，分离式表征在推荐系统中的奠基性工作。

MA-GNN是华为诺亚实验室发表在 AAAI 2020 上的序列推荐工作。主要利用记忆增强的图神经网络来捕获并融合短期兴趣和长期兴趣，应用于序列推荐中。下面仍然围绕Motivation, Contribution, Solution, Evaluation, Summarization，即5tion原则展开介绍。

本次将带来基于GNN的序列推荐论文系列。整个系列主要围绕最近两年来基于图神经网络的序列推荐工作展开。这些工作包括但不限于，AAAI 2019 SR-GNN，IJCAI 2019 GC-SAN，SIGIR 2020 GCE-GNN，AAAI 2020 MA-GNN等。此次先带来第一篇SIGIR 2020 GCE-GNN，全局上下文提升的图神经网络。主要围绕5个方面展开(我称之为5-TION原则)，Motivation，Contribution，Solution，Evaluation，Summarization。