来自哥伦比亚大学、Meta与MBZUAI的研究人员推出新型内容推荐框架SPAR（Sparse Poly-Attention for content Recommendation），这个框架的核心目标是利用用户的长期参与历史来提供个性化的内容推荐，比如新闻文章、社交媒体帖子或在线书籍等。简单来说，就是通过分析用户过去的行为和喜好，来预测他们未来可能感兴趣的内容，并据此进行推荐。
论文地址：https://arxiv.org/abs/2402.10555
主要功能：
SPAR框架通过结合预训练语言模型（PLMs）、多注意力层和注意力稀疏机制，有效地从用户的长期参与历史中提取用户兴趣。它能够将用户和候选内容的特征充分融合，同时保持双方的独立表示，这对于实际模型部署非常高效。
主要特点：
- 长期用户历史处理： SPAR通过将用户的参与历史分成多个子序列（会话），并使用稀疏注意力机制来编码这些子序列，从而处理非常长的文本序列。
- 用户兴趣提取： 使用大型语言模型（LLM）来生成用户兴趣的摘要，从而提取用户的整体兴趣。
- 独立表示： SPAR确保用户和候选内容都有独立的表示，这对于轻量级的检索阶段和排名阶段至关重要。
- 计算效率： 通过引入局部滑动窗口注意力、全局注意力和随机注意力策略，SPAR在处理非常长的序列时减少了计算复杂度。
工作原理： SPAR的工作流程大致如下：
- 用户历史编码： 用户的参与历史被转换成文本序列，并使用PLM进行编码。为了处理长序列，历史被分割成多个子序列，每个子序列通过稀疏注意力机制进行编码。
- 用户兴趣提取： 使用LLM生成用户兴趣的自然语言摘要，然后这些摘要被编码并用于增强用户表示。
- 候选内容编码： 候选内容（如新闻或书籍）也通过共享的PLM进行编码，并使用多注意力层生成多个表示。
- 相关性评分： 最后，通过计算用户表示和候选内容表示之间的匹配分数来预测用户对内容的参与度。
具体应用场景：
- 在线阅读平台：根据用户的阅读历史和偏好，推荐相关的书籍、文章等。
- 视频播放平台：根据用户的观看历史和喜好，推荐相关的视频内容。
- 社交媒体：根据用户的互动历史和兴趣，推荐相关的帖子、话题等。
0条评论