继分享精排模型建模路线,聊聊多任务多场景的共享派与拆塔派 马鞍山推广营销哪家好

发布时间 - 2026-01-15 13:22:54    点击率:

在探讨近期备受关注的精排模型构建方法中,关于“多任务多场景”的问题,大致形成了两大阵营。一方面是主张共享资源的共享派,其模型较为轻便,但面临如何有效解决多任务间的平衡问题以及提升模型表达能力等挑战;另一方面则是倾向于拆分模型的拆塔派,虽然参数量较大,具备较强的表达能力,但同时也对样本分布和训练策略提出了更高的要求。

今日为大家推荐一篇关于共享派的文章,该文摘自快手在2025年发表的一篇关于多任务多场景建模的最新研究,“Prior for and with”,可视为PPNet的更新版本。该研究通过动态权重的策略来构建个性化网络,旨在解决多任务多场景中出现的平衡难题。

多场景&多任务问题形如:

因此,在多任务多场景的问题中,存在一种类似双面平衡的现象,作者将其命名为某种特定名称。针对这一现象,作者提出了一个名为“千人千模”的模型来应对,该模型通过提升模型的个性化程度,以更好地捕捉用户在不同情境下的偏好。实际上,多任务多场景问题在本质上可以看作是用户在不同情境下与物品进行交互的典型例子。借助更精确的定制化模型,我们可以更好地迎合用户在不同情境下的兴趣与需求,从而有效减轻这种波动效应。

然而,若仅将个性化的先前知识直接纳入模型的基础输入,随着深层神经网络结构的深入,这种信息实际上会逐步减弱。因此,探究如何以恰当的方式将个性化先验信息融入模型中适宜的环节,实为一种值得深入研究的问题。这便是本文研究的出发点与核心动机。

因此本文的主要贡献如下:

TL;DR的完整名称为and,代表参数与表征个性化网络。其核心思想是将个性化的先验信息作为门控网络的输入,并通过两个模块来提升个性化效果。

其核心在于运用gate技术,旨在通过增强先验特征来提升表征或参数的个性化程度,进而实现千差万别的个性化模型,以此目的在于实现多种场景和任务下的统一建模。

在这些特征中,属于用户方面的特性;属于物品方面的特性;还包括其他的一些上下文信息或组合特性。这些样本代表了具体的场景;经过分桶处理并在过层后得到的初始表征;拼接操作则是对这些表征的处理方式。

在快手平台中,各类场景下的推荐候选列表并无差异,导致用户群体有所交集。即便针对同一推荐项,用户在不同场景中的互动模式与趋势亦呈现出显著差异。故而,问题转化为需同步预测用户在多样化场景和目标导向下对推荐项的偏好程度。

图中整体网络结构清晰可见,其底部中央位置为常规的user、item以及表征层;此外,还包含三个独具特色的模块。

Gate NU

借鉴了语音识别领域中LHUC[2]模型的创新,我们提出了一个名为Gate NU的定制化门控单元,该单元由两层网络结构组成。

具体的:

输入向量与输出向量维度一致,均用于评估在特定情境下(由输入信息确定)各维度对于输入向量重要性程度的衡量。其取值区间被设定,以增强该信号,例如快手平台采用的数值为2。随后,我们将阐述如何在EPNET和PPNET中应用这一门控机制。

EPNet

这部分内容主要阐述了在多场景建模过程中,如何构建输入端特征以及如何进行基础表征的方法。其目的是为了获得针对特定场景的定制化输入表征。

总体来看,对于输入层而言,各个场景将共同使用一套基础的表征(输入)。具体来说,即:

SF与DF代表稀疏特征和稠密特征。除了它们共有的特征之外,还包含针对特定场景的偏差特征,例如场景的唯一标识符或某些场景的统计属性,这些特征可以表示为:。

对于场景的某个特定的样本,特征有2部分,

首先,对第二部分场景进行特征提取,随后利用Gate NU技术对所提取的特征进行加权处理,进而得到该场景下的特征权重。

其中,维数为d,和第一部分常规特征的表征向量是对齐的。

再用该表征权重-wise乘到常规特征表征向量上:

此处指的是针对特定场景的个性化特征表示。从这个角度来看,该权重向量的维度与向量本身的维度保持一致,从而确保了每个特征值的权重各不相同,进而实现了在特定场景中的个性化输入特征表示。

PPNet

基于前述的输入特征,常规的多任务处理方法将作为各个任务塔的输入,以实现对各个任务的预测。PPNet作为一款个性化参数网络,会对任务塔的参数进行针对性的调整。因此,我们的目标是获取针对特定任务的个性化网络参数。具体如图中红框所示部分。

PPNet的输入位于底部,该研究采用了user/item/-side(即uf/if/af)作为PPNet的输入参数,这涵盖了诸如user年龄、item标签的流行度等各自的side信息。因此,先验的输入结构便由这些要素组成。

除了预先输入的数据,还会引入先前计算出的针对该任务定制的特征向量,随后通过一个Gate NU模块进行处理,从而获得该任务特有的权重。

输出的代表某个特定任务的个性化网络参数权重,也是个向量。

特别地,stop操作代表,旨在避免PPNet在更新过程中对EPNet输入向量造成干扰,也就是说,在PPNet进行梯度更新时,其影响仅限于自身的Gate NU参数和DNN Tower参数。

在传统的工作模式中,多任务塔的深度神经网络参数是多个任务共用的。然而,由于各个任务在数据稀疏性上存在差异,这会导致任务间出现不平衡现象。以关注和点赞这两个任务为例,关注的任务中正样本数量较少,因此在训练过程中,两个任务的梯度更新量并不相等。这种情况下,关注任务的部分梯度信号可能会被点赞任务的梯度信号所掩盖。

文中存在一个疑问,即在DNN Tower 1至DNN Tower x的图中,Layer 1是否实现了任务间的共享?同理,Layer 2至Layer x也是如此。根据实验部分的描述,此处应当是共享的设置,这样才能充分展现PPNet在解决跨任务跷跷板问题上的优势。

PPNet会对多任务深度神经网络中的参数实施基于样本粒度的定制化调整,以此挑选并强化用户针对特定任务的个性化参数信号。实际上,这种做法相当于在网络中融入了用户在特定场景下某一类交互行为的倾向性预设,从而有效减轻了跷跷板效应。

在经过某个深度神经网络(DNN)的处理后,我们得到了一个向量,这向量正是下一层DNN网络的输入数据。观察可知,DNN网络的层数与Gate NU的数量是相等的。

这是一种激活机制,前几层网络采用了ReLU函数,而最后一层也采用了相同的激活函数。在模型优化阶段,我们采用了交叉熵作为损失函数。

最终,我们应当审视输出层,并深入思考针对特定样本,整个网络或流程呈现出的模式究竟如何。

观察可见,首个簇别对应的是Label 1,这表明了在各类不同场景中,执行着相同任务的实例被汇集在一起,而在同一簇内部,则进一步细分以识别具体属于哪个场景;至于第X簇,它标识的是第X项任务。

一旦接收到某个样本,便可以明确其特定的交互类别以及所属的场景类型,进而推断出相应的任务和情境。以某条位于首页的feed内容上的点赞样本为例,网络处理过程便可以据此进行。

这篇文章实验部分主要要回答的问题:

实验设定

作者指出,由于目前缺乏适用于多种任务和不同场景的公共数据集,因此他们采用了快手平台自有的数据集进行评估。接下来,我们可以探讨快手平台中的推荐场景及其所涉及的多任务类型。

样本量分布情况如下:在首页推荐中,样本量(C)大于精选视频(B),而发现页(A)的样本量则更少;至于各个任务的稀疏度,我们可以观察到:有效观看的定义中,稀疏性达到了50%,这意味着正样本的比例最高,紧随其后的是点击(关于点击的定义如何?),然后是点赞(占比低于5%)、关注(占比低于1%)、转发(占比低于0.5%)、讨厌(占比低于0.3%)等。

对比实验

3类对比,

整体上,表现是最好的。超参设定上:

分析:

消融实验

在现实应用中,各类业务场景各自拥有独特的样本,却都追求着统一的目标。然而,如何整合来自不同业务领域的数据,以及如何区分这些业务各自不同的目标,目前尚无高效的方法可言。例如,我们通常会尝试以下做法:

综上所述,前述种种努力均未取得成效,这恰恰构成了本文研究的出发点。为此,作者对所提出的PPNet和EPNet的消融效果进行了评估,并探究了将它们融入传统模型后,能为传统模型带来怎样的提升。

如图中所示,(a)、(b)、(c)为消融实验,若未采用PPNet/EPNet,其效果将显著下降。而(d)展示了在传统单场景单任务模型中融入PPNet后的效果,显著提升了性能,这充分说明了通过增强参数的个性化设置,对增强模型的表达能力具有重要意义。

参数实验

研究EPNet对输入特征维度dim的适应性,我们发现其鲁棒性相当出色;即便在维度仅为16的情况下,表现依旧令人满意;而且整体性能会随着维度dim的增加而显著提升。

在探究DNN层对PPNet性能的影响时,最初发现随着DNN层数的增加,效果呈现出逐渐提升的趋势;然而,当层数达到某个临界点后,性能反而开始下降;经过分析,发现最理想的层数为4层。

(c) 考察的系数,2的时候最理想。

对PPNet的输入方式进行了探讨,关于是否需要附带input以及是否需要stop,经过分析得出,input作为输入是必要的,而stop在必要时使用则更为理想。

A/B测试

快手及其极速版中部署了超过十个不同场景。与电商场景不同,短视频领域更重视用户的互动数据,例如点赞、关注、分享、平均观看时间以及整个APP的使用时长等指标。观察这些数据,可以发现它们均有显著提升。

作者在文中对多任务多场景问题中的双跷跷板现象进行了深入研究,并针对跨场景和跨任务的异构建模难题,提出了采用参数和表征个性化网络的方法。这一方法的核心在于强化个性化处理,旨在满足不同场景下用户多样化的需求,从而实现个性化的模型构建,以减轻跷跷板效应。

这表明其属于共享派别,故而该模型在参数数量上较为精简;它通过个性化特征表示和参数网络动态挑选关键参数,以此提升模型的表达力,具有一定的参考价值。此外,不仅模型架构值得借鉴,其在训练策略、部署手段以及多任务建模方法等方面,也都值得深入研究和学习。

文章表述清晰,易于理解,其实际效果还需通过实际应用来验证。当然,若文章中对深度神经网络(DNN)、门控神经网络(Gate NU)以及预测头部是否共享等方面的阐述能更加明确,那就更加理想了。

下一期内容将涉及百度在多任务和多场景下的文章分享,其采用的方法是拆分塔式结构结合训练策略,同时对于样本的分布也设定了独特的标准。

在“Prior”的指导下,严格禁止使用“and”、“for”以及“with”。

Pawel、金宇李和Steve于2016年发表了一篇关于模型单元的研究论文。该论文发表于IEEE/ACM主办的音频会议,并在2016年第24卷第8期中,占据了1450至1463页的位置。

<p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre data-tool="mdnice编辑器" style="margin-top: 0em;outline: 0px;max-width: 100%;font-size: 16px;text-align: left;letter-spacing: 0.544px;word-spacing: 1px;background-color: rgb(255, 255, 255);color: rgb(105, 105, 105);widows: 1;caret-color: rgb(0, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;"><pre data-tool="mdnice编辑器" style="margin-top: 0em;outline: 0px;max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;">

想要加入技术交流群,请扫描并添加AINLP小助手的微信,其微信号为ainlp2。<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"  />

</pre></p> <p style='margin-bottom:15px;color:#555555;font-size:15px;line-height:200%;text-indent:2em;'> <pre data-tool="mdnice编辑器" style="margin-top: 0em;outline: 0px;max-width: 100%;letter-spacing: 0.544px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><section style="margin-top: 15px;margin-bottom: 15px;outline: 0px;max-width: 100%;white-space: normal;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color: rgb(62, 62, 62);letter-spacing: 1px;text-align: center;caret-color: rgb(51, 51, 51);line-height: 1.5em;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="outline: 0px;max-width: 100%;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;">请备注<span style="outline: 0px;max-width: 100%;color: rgb(255, 0, 0);box-sizing: border-box !important;overflow-wrap: break-word !important;">具体方向+所用到的相关技术点</span></span></span></section><section style="margin-top: 15px;margin-bottom: 15px;outline: 0px;max-width: 100%;white-space: normal;font-family: Optima-Regular, Optima, PingFangSC-light, PingFangTC-light, "PingFang SC", Cambria, Cochin, Georgia, Times, "Times New Roman", serif;color: rgb(62, 62, 62);letter-spacing: 1px;text-align: center;caret-color: rgb(51, 51, 51);line-height: 1.5em;box-sizing: border-box !important;overflow-wrap: break-word !important;"></section><span style="outline: 0px;max-width: 100%;font-size: 15px;box-sizing: border-box !important;overflow-wrap: break-word !important;"><span style="outline: 0px;max-width: 100%;color: rgb(0, 128, 255);box-sizing: border-box !important;overflow-wrap: break-word !important;">关于AINLP</span></span>

<span style="outline: 0px;max-width: 100%;font-size: 14px;font-family: mp-quote, -apple-system-font, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;box-sizing: border-box !important;overflow-wrap: break-word !important;">AINLP,一个充满趣味且专注于人工智能与自然语言处理的社区,致力于分享AI、NLP、机器学习、深度学习以及推荐算法等相关技术。在这里,你可以了解到文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息以及求职经验等多个领域的最新动态。诚挚邀请您的关注!想要加入技术交流群,请扫描微信二维码,联系AINLP小助手(id:ainlp2),并在留言时注明您的工作或研究方向以及加入群组的意图。</span>

<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"  />

<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"  />

<br style="outline: 0px;max-width: 100%;box-sizing: border-box !important;overflow-wrap: break-word !important;"  />

<span style="outline: 0px;max-width: 100%;font-size: 14px;box-sizing: border-box !important;overflow-wrap: break-word !important;">阅读至此了,分享、点赞、在看三选一吧</span>

</pre></p>


# 继分享精排模型建模路线  # 聊聊多任务多场景的共享派与拆塔派  # 门控  # 多场  # 采用了  # 的是  # 提出了  # 这一  # 图中  # 并在  # 我们可以  # 呈现出  # 您的  # 编辑器  # 景中  # 进行了  # 多个  # 则是  # 互动  # 等方面  # 层数  # 便可  # seo推广专家广告  # 岳阳网站建设模板  # 网站建设工程师  # 营销推广协议怎么写的呢  # 城口网站推广哪家好  # 深圳开店加盟营销推广  # 承德营销推广  # 如何设计客户端网站推广  # 小区推广营销互动活动  # 做网络推广的网站叫什么来着  # 公司建设网站多少钱一个  # 房产中介网站如何推广  # 凤岗营销推广  # b to c的营销推广  # 东平正规的网站建设  # *剧营销推广方式  # 产品营销推广方案ppt蜂花  # 国内好的网站建设  # 微博营销推广优势有哪些  # 柳州企业seo优化推广方案 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: SEO有点:揭秘优化之道,提升网站排名的秘诀,广州抖音seo厂家地址  福建百度推广没接到电话会怎么样?,顺庆区网络推广网站优化  广州百度推广服务商,助力企业打开网络营销新局面,千川视频推广如何优化营销  SEO获客的秘诀:如何通过搜索引擎优化提升客户获取能力,厦门seo搜索优化排名  清远设备SEO优化费用解析,如何精准提升品牌曝光度?,网站推广阶段怎么写  SEO是什么意思?揭秘SEO的真正含义与重要性,公司推广网站询问d火18星来  SEO快速提升:让你的网站排名瞬间飙升的秘诀,网站建设的发展目标  东莞网络SEO专业机构盘点,介绍哪家最值得信赖,松岗正规网站优化  广州百度推广贵吗?一文带你了解百度推广的费用与价值,辽宁互联网网站建设包括  探索数字营销的奥秘,打造高效转化的自媒体平台,恩施关键词排名优化  广州百度推广与微信营销的结合,开启数字营销新篇章,抖音给其他网站做推广  SEO要求:如何优化网站提升搜索引擎排名,助力企业获取更多流量,鹤山区网站运营推广  第五人格:荒诞画风与悬疑剧情交织的刺激1V4手游   广州百度推广高级策略解析,开启营销新篇章,南京新网站如何推广  揭秘成功的自媒体人,如何利用SEO技能打造你的品牌,如何优化网站店铺排名  Excel表格设置下拉菜单选项的多种方法,你知道几种?   广州百度推广途径全解析,顺庆区营销推广大厦邮编  塘沽SEO推广哪家好介绍行业翘楚,助力企业腾飞,贵阳seo最便宜  火星11,介绍我国新一代火星探测器的奥秘,天津优化网站哪家专业  潍坊市奎文区大数据局联合党校打造智慧校园,开启党建教育新纪元   介绍SEO学习圣地,哪里学SEO最好,河南seo优化加盟  福建百度推广运营顾问工作是什么?,南丰企业网站建设推广  广州百度推广外包助力企业营销大爆发,闵行区网站建设制作  科技推动下的微信支付成日常必备,指纹支付怎么设置?看这里   广州百度推广目标,助力企业精准营销,软文营销的广告推广  福建百度推广花不出去钱的原因分析,农业网站推广公司有哪些  衢州SEO基础优化报价介绍,如何以最低成本打造高效搜索引擎排名,南阳怎么做优化网站  广州百度推广合作,助力企业发展,共创辉煌未来,海东网站推广  淘宝SEO三大秘诀,如何让你的店铺脱颖而出?,未来互联网营销推广  阜康外贸SEO优化推广,助力企业打开国际市场新局面,seo站外优化流程  揭秘自媒体营销的秘密武器,如何让你的品牌在数字海洋中脱颖而出,seo电商有用吗  数字时代音乐资源超丰富!20个实用音乐搜索器和下载平台汇总   SEO,永恒的流量密码,过时了吗,青岛seo推广价位  揭秘!日照SEO推广优化培训,如何让您的网站一夜成名?,南昌建设哪个网站最好  揭秘SEO秘籍,如何让内容在搜索引擎中脱颖而出?,房山外贸响应式网站建设  广州百度推广佣金到账时间及优化建议,fb营销推广怎么做的呢  惠州SEO广告推广费用介绍,合理布局,精准营销,京东商城seo营销策略  探索自媒体营销的奥秘,如何在不使用SEO插件的情况下实现内容的有效传播,泸州爱采购seo排名  福建百度推广返点一般是多少?解析营销背后的策略,h5网站怎么样推广赚钱  广州百度推广业务助力企业数字化转型,网站建设点击次数限制  江门全网营销SEO外包,助力企业腾飞的新引擎,韶关网站优化案例  详细介绍谷歌SEO推荐的应用,掌握优化之路,提升App排名,口碑好的扬州seo  锡山SEO推广,如何让你的品牌在数字海洋中脱颖而出?,东营机场建设招标网站  福建百度推广如何寻找客户资源,永宁推广网络营销服务平台  福建百度推广的费用高吗?多少钱?,网站建设创意方法  杭州SEO排名优化,白帽步骤助力企业网络营销,网站优化编辑工作内容  福建百度推广能接到单子吗?深度解析效果与策略,网站建设的出路包括  手机SEO优化设置指南,助力手机网站提升搜索引擎排名,郑州网站优化工作室招聘  SEO查:如何用精准的SEO诊断助力网站流量爆发,美团关键词排名怎么补  广州百度推广方式解析,丰台网络营销推广网站