百度视频推荐跨域多目标预估与融合的实践和思考

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

百度视频推荐跨域多目标预估与融合的实践和思考

一、百度视频背景介绍

1、统一产品形态

百度视频推荐跨域多目标预估与融合的实践和思考

一方面,百度 APP 的所有视频场景已经升级成统一的沉浸式(上下滑)交互形态;另一方面,基于百度统一的大模型,我们打通了所有场景的数据和推荐体验。交互和数据的统一可以更好地实现生态共赢,促进百度视频的长远发展。

为了更好地培养用户对视频的消费习惯,我们还打造了一个视频消费的一级入口(底部导航栏入口)。大家如果有兴趣可以去下载百度 APP,有好的建议和 badcase 随时欢迎反馈给我们。

2、搜+推双引擎满足用户需求

值得一提的是,百度是做搜索起家,搜索的使用率极高,在推荐场景中需要更好地使用搜索的数据,通过”搜+推”双引擎来满足用户的需求。搜索主要是“人找内容”,用户会明确地输入自己的需求,而推荐是“内容找人”。将搜索的信号和推荐的信号进行跨域整合,做到更好的推搜融合,这也是百度的优势之一。

百度视频推荐跨域多目标预估与融合的实践和思考

二、推荐系统概述

1、推荐系统解决的问题

百度视频推荐跨域多目标预估与融合的实践和思考

由于听众中有相当一部分人对推荐技术缺乏了解,因此有必要简单介绍推荐技术要解决的问题。推荐平台有三个玩家:

用户:在这里探索世界、发现新的感知。创作者:平台推荐的基础,为平台提供内容供给;平台为其提供广阔的空间,激发他们无限的灵感和创作。广告主:提供平台生存下去的资金支持,大部分平台都是以广告为生。

推荐平台希望实现生产、消费和收入的良性循环,推荐系统作为平台的核心部件,主要解决两方面的问题:

优胜劣汰的内容选择机制(B 端):优质的内容如何获得更多的分发,留住优质的创作者。极致的用户消费体验(C 端):只有用户诉求得到满足了,才能促进规模上的持续提升。

在设计目标时,我们需要综合考虑推荐系统的两个使命

2、推荐系统概览

百度视频推荐跨域多目标预估与融合的实践和思考

推荐系统的流程大致如下:审核后的资源会先推送到存储 meta 信息的统一正排库;推荐系统收到请求后,先通过图引擎、多目标召回等,召回相关资源;召回之后会经过两轮排序,分别为粗排和精排,再经过多目标的融合模型,选出一些与用户强相关的内容;最后通过多样性感知、序列建模、流量分配机制等策略,生成一个视频列表,下发到用户的手机。

下面的内容将主要关注于精确排列的目标设计和模型的融合

三、多目标的设计和建模

首先,我们要介绍的是多目标设计在视频推荐中的应用

1、目标设计的思考

百度视频推荐跨域多目标预估与融合的实践和思考

先请大家思考一下视频沉浸式的场景下,如何设计推荐系统的目标呢?

在传统的推荐系统中,用户通过点击内容或视频来消费资源,从而明确表达了对该资源的喜好。因此,在传统推荐场景中,点击行为是非常重要的信号,也是一种明确而简单的反馈方式。然而,在沉浸式场景中,由于缺乏明确的反馈,用户的喜好往往通过“隐藏”的行为来表现,此时观看时间成为沉浸式推荐场景中极其重要的信号

百度视频推荐跨域多目标预估与融合的实践和思考

除了上述消费时长以外,还需要考虑用户在系统中主动留下的行为,比如关注、评论、分享、点赞。然而,与播放数据相比,这些行为数据非常稀疏,可能只有千分之一这个量级

除了这些交互信号以外,在百度 APP 的推荐里面还有一部分很重要的数据就是搜索信号,在百度 70% 的用户既会消费推荐信息流,又会用搜索,因此推荐系统也需要刻画用户搜索域的满意度信号。

B端的创作者需要一套竞争机制,以除C端用户满意的消费信号外,筛选出劣质创作者,激发优质创作者的创作潜力,从而实现生产和消费的良性循环

2、目标设计考虑的维度

百度视频推荐跨域多目标预估与融合的实践和思考

从推荐系统角度看,用户就是样本标注员,用户有一些明确的正向表达,比如播放、点赞、收藏、评论等行为;还有一些明确的负向表达,比如 Dislike、负向评论、举报等等。除了明确表达,用户还会有一些隐式的表达,比如通过完播、播放时长、作者页消费、阅读相关推荐等表达出的喜欢,或是通过短播、快速跳出等表达出的不喜欢。因此在设计目标的时候,要全方面地思考,平衡明确的信号和隐式的信号,避免设计出一个“偏科”的推荐系统。

3、综合满意度建模

百度视频推荐跨域多目标预估与融合的实践和思考

除了上述基础目标,我们还会设计一些高阶的目标,不再是简单地使用用户的反馈。举个例子,如上图右侧所示,我们上线了基于用户满意度反馈的模型。第一阶段,通过完播、时长这种稠密的信号,利用简单的规则或者模型去拟合用户的满意反馈,得到一个比较稠密的用户满意度 label。第二阶段,基于这个 label 建一个满意度模型,利用推搜全域大模型产生的 Embedding、文心底层 Embedding,以及用户画像和行为序列特征建模,以评估推荐域相对于搜索域的满意度增益。如果某个兴趣点用户在搜索里消费过了,推荐系统可以基于该满意度模型推荐出更优质的内容,这样就可以使搜推融合更加平滑,将搜索的兴趣更好地迁移到 Feed。

4、长期价值建模(Long Term Value)

百度视频推荐跨域多目标预估与融合的实践和思考

在前文中介绍了如何预估当前内容的播放时长和互动。我们可以利用用户的历史消费行为作为样本或特征,来预测即将推出的内容是正反馈还是负反馈,以及是否会有互动和消费的满意情况

我们可以进一步思考,用户未来的消费内容与当前消费的内容是否有关系?举例来说,如果用户现在正在观看郭德纲的视频,那么如果在接下来的第N天他们继续消费于谦的视频,那么这些于谦的视频是否是由郭德纲的视频“激发”而来的呢?消费未来的兴趣点是否可以被视为当前兴趣点的“延续”呢?答案是肯定的。因此,我们在系统中引入了LTV的体系,将未来长期价值的内容归因于当前视频的推荐

百度视频推荐跨域多目标预估与融合的实践和思考

假设 V0 是当前视频的价值,V1,V2,… Vn 是用户未来消费的视频,假设 V2 和 Vn 是满意的消费,并且是 V0 的一个延续,就可以将其归因到V0 。

归因方式有多种,根据百度 Feed 的业务场景,归因包括以下三大块:

功能的归因:如通过相关推荐看了挂载的资源,那么这部分资源消费信号可以归因到 V0 上来。召回关联的归因:如召回阶段是通过 itemCF 等隐式召回的。相关性关联:如通过多模态 embedding 或者推荐大模型的 embedding 可以衡量资源之间的相关性,比如 Vn 和 V0 有比较高的相关性得分,就可以把 Vn 的价值归因到 V0 上来。

当然这个归因是有权重的,我们通过距离 V0 的时间间隔,和 V0 的相关性等因子来调节用户未来消费视频的归因权重,从而得到当前视频 V0 的长期价值。有了长期价值目标后,学习就比较简单了,首先是目标的归一化,然后直接建模即可。

百度视频推荐跨域多目标预估与融合的实践和思考

基于对业务现状的抽象和梳理,我们在设计推荐系统目标时会从以下三个方向入手进行简单总结

多目标,首先进行基础物理目标建模,接下来是一些高阶目标的建模,刻画全场景的满意度,同时还需要对生态进行调控。刻画未来的价值。除了资源维度还可以考虑其他维度,例如作者维度的建模。

要综合考虑各个发展方向,推荐系统的目标需要从多个角度出发

5、百度 Feed 模型技术变革联动体验进化

百度视频推荐跨域多目标预估与融合的实践和思考

百度现在推荐场景的发展已经分为三个主要场景:

「推荐」信息流:已经存在了很多年。『发现』场景:相比之下,主 Feed 偏信息资讯,『发现』则更轻松活泼,贴近生活。「沉浸式」场景:纯视频形态的消费流。

百度产品的发展演变,导致了排序目标的逐步改变。最初只有单个领域的主要目标,然后发展为多领域多目标,现在已经实现了全领域的综合建模,将多个领域的样本整合在一起,实现信息的充分共享。下面将介绍全领域综合建模的具体内容

6、跨域多目标建模

百度视频推荐跨域多目标预估与融合的实践和思考

首先,我们来看一下业界都做了哪些工作。无论是MMoE、PLE,还是阿里在做的STAR网络、PEPNet等这些结构,以及谷歌、腾讯等公司,都在不遗余力地根据自己的业务设计各种各样的网络结构,希望在异构场景下共享更多有用的信息。这些工作主要解决了两个问题:

跨域信号的迁移问题,如何在两个不同的域之间更好地迁移,实现跨域信息共享。多目标之间负迁移的问题,即多目标的跷跷板效应。

同样百度推荐系统也面临这两个问题。

百度视频推荐跨域多目标预估与融合的实践和思考

百度的场景下存在许多不同的子域目标,而这些目标之间的相关性较低,这可能导致多个目标之间发生负迁移。为了解决这个问题,需要分析不同目标之间的 PNR,并找出它们之间的相关性差异。也就是说,在异构场景下如何描述用户信息,以及如何实现异构信息的迁移,这是模型结构需要解决的问题

根据百度的业务需求,我们设计了一种跨域分层多目标网络结构,采用 Gating 结构。这个结构主要分为三层:首先是个性化的共享网络作为底层;第二层是跨域信息提取的 GCG 网络;最后一层是子域的多目标网络。通过这样的设计,我们可以在共享信息的同时,对每个域进行多目标预估

这套方案与单域多目标相比有着显著提升,初次上线 AUC 约提升 3-9 个千分。如上图右下角所示,获取用户特征在多个域的 embedding,做了一个 TSNE 降维后,除了搜 C 和二跳这两个比较接近以外,其它两个场景的区分还是比较明显的,说明模型可以学到场景间的差异。搜 C 和二跳两个场景区别不大也是合理的,都是视频场景,用户的交互和兴趣也都差别不大。

百度视频推荐跨域多目标预估与融合的实践和思考

百度业务场景有 40 多个物理目标,还有 4 个大的子域,6 种形态,包括视频、图文、动态、小程序等。我们希望模型在众多复杂业务中都能有较好的表现。简单介绍一下模型结构。第一层是 common 网络,作为分域的底座,筛选各个场景中多目标的满意样本,通过 gate 网络实现个性化 embedding 映射。第二层是域间信息的提取,将域内独有的特征和个性化共享特征通过 CGC 网络实现。两者共同构建了跨域的信息提取,其好处是既保留了域内的信息丰富度,同时又提取出了异构场景的共享信息。第三层是子域的多目标建模。这块我们还有对应的论文在发表中,对细节感兴趣的朋友可以看论文。

四、多目标融合

百度视频推荐跨域多目标预估与融合的实践和思考

百度的多目标融合演进过程与业界相似。首先是先验知识融合,虽然简单直接,但需要耗费大量人力。接着我们升级到了LTR,效果显著,但弊端是当业务变化时需要频繁调整,同时偏序关系也会随着业务和用户分层的变化而变化。之后,我们采用了多目标融合价值模型,使用序列最优的方法。短期使用后,我们升级到了现在正在使用的方法——ES(Evolution Strategy)进化学习

百度视频推荐跨域多目标预估与融合的实践和思考

要使用ES,首先需要定义一个奖励,即北极星指标。百度的奖励是会话的深度(时长+步长)和互动,时长和步长对应的业务指标是时长和视频播放量,这两个指标反映了用户的留存,即LT。此外,还有互动信息,代表了用户在APP中资产的积累,例如关注作者的行为,实际上是希望在作者有更新后能够找到。不管是提高消费次数还是互动数量,都是希望用户能够更长期地使用这个APP

我们的初始版本是一个简单的启发式模型,而当前线上的 ES 则进行更高级的计算,比如引入不同场景和人群的信息

以上就是百度视频推荐跨域多目标预估与融合的实践和思考的详细内容,更多请关注创想鸟其它相关文章!

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 chuangxiangniao@163.com 举报,一经查实,本站将立刻删除。
发布者:程序猿,转转请注明出处:https://www.chuangxiangniao.com/p/454705.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2025年11月8日 00:54:37
下一篇 2025年11月8日 00:55:28

相关推荐

  • 应用于推荐系统的GNNs技术及其实际应用

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 一、GNNs 推荐系统的底层算力演化 近 20 年来,计算形态在不断的演化。2010 年之前,云计算特别火,其他的计算形态比较微弱。随着硬件算力突飞猛进的发展,以及端侧芯片的引进,边缘计算也变得…

    2025年12月2日 科技
    000
  • HTML数据如何构建推荐系统 HTML数据推荐算法的数据基础

    HTML是推荐系统数据来源的载体,通过解析网页提取用户行为(如点击、停留)、物品特征(如标题、价格)及上下文信息(如URL路径、设备类型),经结构化处理后形成用户画像和特征矩阵,为协同过滤、内容推荐等算法提供输入,实现精准推荐。 构建推荐系统时,HTML数据本身不直接用于算法计算,但它承载了生成推荐…

    2025年11月29日 web前端
    000
  • 使用MySQL创建推荐系统表实现推荐系统功能

    使用mysql创建推荐系统表实现推荐系统功能 推荐系统是一种用于根据用户的喜好和行为给用户个性化推荐内容的系统。在推荐系统中,数据库是一个关键的组成部分,它保存了用户数据、物品数据和用户-物品交互数据等信息。MySQL作为一种常用的关系型数据库管理系统,可以用来创建推荐系统表,并实现推荐系统的功能。…

    数据库 2025年11月28日
    000
  • 客服机器人是怎么实现的?对话推荐系统

     本文转载自微信公众号「活在信息时代」,作者活在信息时代。转载本文请联系活在信息时代公众号。 大家在使用很多APP的时候,一定对于智能机器人客服系统都有所了解。客服机器人就像真人客服一样,可以与人进行简单的对话,并针对人们的需求给出相应的回答。虽然大部分时间得到的答案并不怎么靠谱吧,但是总的还是比较…

    2025年11月27日 科技
    000
  • 如何设计一个高性能的MySQL表结构来实现推荐系统功能?

    如何设计一个高性能的MySQL表结构来实现推荐系统功能? 推荐系统是很多互联网平台的重要组成部分,它通过分析用户的行为和偏好,提供个性化的推荐内容。在推荐系统的实现中,数据库扮演着关键角色,因此设计一个高性能的MySQL表结构非常重要。本文将介绍如何设计一个高性能的MySQL表结构来实现推荐系统功能…

    2025年11月25日 数据库
    000
  • 通过MySQL开发实现数据挖掘与推荐系统的项目经验分享

    在当前互联网时代,大数据的应用已经成为许多企业的重要战略。数据挖掘作为一种重要的数据分析技术,帮助企业从庞大的数据中挖掘出有价值的信息,为企业决策和业务发展提供支持。而推荐系统则是针对用户的个性化需求,通过分析用户的历史行为和兴趣,为用户提供个性化的推荐内容。本文将分享我在一个数据挖掘与推荐系统项目…

    2025年11月18日
    000
  • 泊松矩阵分解:无需数据解决推荐系统冷启动问题的矩阵分解算法

    作者 | 汪昊 审校 | 孙淑娟 推荐系统是目前互联网行业最火爆的技术之一。在过去的十年中,互联网行业诞生了数以百万计的推荐系统模型迭代版本。尽管针对不同场景进行优化的推荐系统模型非常之多,但是经典的模型非常少。矩阵分解是推荐系统领域勃兴早期,在 Netflix 大赛中展露头角的推荐系统算法,也是过…

    2025年11月10日 科技
    000
  • 利用PHP框架构建社交媒体推荐系统:个性化体验并增加互动

    本文介绍了如何使用php框架构建社交媒体推荐系统,以提供个性化体验。推荐系统包含5个步骤:选择php框架、设置数据模型、构建推荐算法、实现推荐引擎、集成推荐到页面。通过实施,社交媒体平台可以为用户提供个性化内容,提高用户参与度和满意度。 利用PHP框架构建社交媒体推荐系统:为用户提供个性化体验 简介…

    2025年11月9日 后端开发
    000
  • 精准推荐的秘术:阿里解耦域适应无偏召回模型详解

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 一、场景介绍 首先来介绍一下本文涉及的场景—— “有好货”场景。它的位置是在淘宝首页的四宫格,分为一跳精选页和二跳承接页。承接页主要有两种形式,一种是图文的承接页,另一种是短视频的承接页。这个场…

    2025年11月9日 科技
    000
  • 关于网易云音乐冷启动技术的推荐系统

    ☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜ 一、问题背景:冷启动建模的必要性和重要性 作为一个内容平台,云音乐每天都会有大量的新内容上线。虽然相较于短视频等其他平台,云音乐平台的新内容数量相对较少,但实际数量可能远远超出大家的想象。同时,…

    2025年11月8日 科技
    000
  • AAAI2022推荐系统论文集锦

    2022年第36届人工智能顶级会议aaai公布了论文列表,此次会议共收到9251篇论文投稿,9020篇经过审稿,最终录取1349篇,录取率仅为15%。鉴于当前国外疫情的严峻形势,会议将于2月22日至3月1日通过线上方式举办。 与往年相比,今年的录取率显著下降。下图展示了2017年至今的投稿量和录取率…

    2025年11月8日 运维
    000
  • 使用Swoole开发高性能的推荐系统

    使用Swoole开发高性能的推荐系统 推荐系统是现代互联网应用极为重要的一部分,它通过分析用户行为数据和物品属性来为用户提供个性化的推荐内容。然而,随着用户数量和数据量的不断增加,传统的架构往往无法满足高并发和高性能的需求。针对这个问题,我们可以借助Swoole这个高性能的PHP扩展来开发推荐系统。…

    2025年11月7日 PHP框架
    000

发表回复

登录后才能评论
关注微信