Published on

推荐系统全解析:从召回到精排,如何逐层优化与提升效果?

Authors

1.介绍:推荐系统的基本概念与重要性

1.1. 推荐系统的基本概念

我们生活在一个处处被推荐系统影响的社会,在电商平台会推荐我们喜欢的商品。在视频平台推荐给给我们欲罢不能的短视频,在新闻平台推荐给我们想要关注的娱乐、社会新闻等等。 在最近大火的rag,也需要推荐系统构造帮助大模型检索到需要的文档,然后辅助模型回答


1.2. 推荐系统的重要性

推荐系统是互联网的增长引擎,从用户角度他推荐用户喜欢的信息,减少了处理无关信息的时间,从商家角度,他提升了平台竞争力,促进了商品的贩卖。 在rag上,也极大提高了大模型关于特定知识的回答,提升了大模型的使用体验


2. 推荐系统的工作流程:召回-粗排-精排

接下来我将介绍一下传统的推荐模型的工作流程,笔者这里认为学习推荐系统的知识将极大的有利于我们构建rag系统,提升我们rag系统的性能。 推荐系统的级联结构/工作流程主要分为四个部分:召回阶段、粗排阶段、精排阶段和重排阶段。在召回阶段,主要要求“快”,要在上海量数据集中根据少量特征和简单模型找出几百条相关数据。而排序层则是要求“准”,偏向于使用复杂结构和海量特征构建模型,尽全力提升推荐效果,但是随着推荐系统规模不断扩大,为了兼顾算力和推荐效果,推荐层进一步被拆分为粗排层和精排层。粗排层对召回的几百条数据进行融合和快速排序,选出十几条送入精排层,精排层则用最精细的模型,选出最合适推荐给用的的数据。之后,为了满足日益复杂的推荐需求,比如推荐的多样性、新鲜度、实时性,重排层被加在精排层之后。从此召回->粗排->精排->重排的四阶段级联架构构成了现代推荐系统最主流的算法架构。

2.1. 召回:广度至上