淘宝搜索的向量召回算法MGDSPR

淘宝在2021年也提出了对应的向量召回算法MGDSPR(Multi-Grained Deep Semantic Product Retrieval)。在MGDSPR中着重要解决的问题是如何优化相关性的问题,这一点在其他的文章中很少提及,但是搜索中的相关性问题对于向量召回来说是避不开的一个问题,而且是一个较难解决的一个问题

发布博客 2023-04-02 01:24:27
898 次阅读
Facebook的多任务多模态向量召回模型Que2Search

在Que2Search中,主要是加入了更多的文本特征,并利用基于Transformer的方法提取文本语义信息,同时在特征中融入了图像的特征,实现了多模态的模型学习。另一方面,在训练的过程中提出了多任务的学习,有利于对item塔的模型学习。

发布博客 2023-04-01 00:20:45
917 次阅读
京东个性化向量召回算法DPSR

京东也提出了自己的向量召回算法DPSR(Deep Personalized and Semantic Retrieval),着重解决两个方面的问题,第一是语义相关而并非严格的词匹配;第二是提供更多的个性化

发布博客 2023-03-31 17:49:49
846 次阅读
百度双塔召回引擎MOBIUS

在召回阶段,综合考虑相关性和CPM,其实这就是一个多目标的问题,这样就能保证前后的一致性。在百度的Mobius系统中就是要解决这样的一个问题,同时,Mobius的目标是要将召回和排序合并成一个大模型。

发布博客 2023-03-30 23:25:27
961 次阅读
Vision Transformer(ViT)

ViT模型将Transformer引入到图像的分类中,更准确的说是Transformer中的Encoder模块。为了能够尽可能少地对原始模型的修改,在ViT中将图像转换成一维的序列表示,以改成标准的文本形式,通过这种方式实现Transformer在CV中的应用。

发布博客 2023-02-26 22:58:30
1040 次阅读
大规模社区挖掘Label Propagation算法

Label Propagation算法是一种基于标签传播的局部社区划分算法,相比较而言其简单的计算过程,能够在大规模的图数据上应用。

发布博客 2023-01-31 12:13:46
756 次阅读
多目标建模总结

多目标建模已经成为当前推荐系统中的标配,在多目标建模过程中,需要考虑多个目标之间的相互关系,以选择合适的多目标建模方法,同时,在多目标的损失函数的设计上,也存在很多的优化方案,需要根据具体的应用场景选择合适的损失函数,以达到对具体任务的优化。

发布博客 2023-01-19 15:50:16
1297 次阅读
多目标建模算法PLE

为了解决多任务模型中普遍存在的负迁移和跷跷板现象,在MMoE模型的基础上提出了CGC模型,在共享专家的基础上增加了针对特定任务的专家网络,可以针对特定任务学习到独有的网络部分,从而避免任务之间的相互影响,同时为了进一步提升整体网络的泛化效果,在CGC的基础上通过堆叠Extraction Network构造了更深的网络结构,进一步提升多任务模型的学习效果。

发布博客 2023-01-18 00:46:51
709 次阅读
注意力FM模型AFM

AFM模型在FM模型的基础上,引入了Attention机制,通过Attention的网络对FM模型中的交叉特征赋予不同的权重。

发布博客 2023-01-16 17:34:26
739 次阅读
用户多兴趣建模MIND

在MIND中,通过Mulit-Interest Extractor Layer获取User的多个兴趣向量表达,并采用动态路由(Dynamic Routing)的方法自适应地将User历史行为聚合到User兴趣表达向量中;最后通过Label-Aware Attention机制,指导网络学习到用户的多兴趣Embedding向量。

发布博客 2023-01-14 15:53:37
1048 次阅读
CVR预估模型ESMM

在ESMM网络中,通过引入两个辅助任务CTR和CTCVR,由于这两个任务的输入空间都变成了“曝光”,从而解决了传统CVR建模中在training和inference两个过程中输入空间不一致的问题,另一个方面,因为“曝光->点击”阶段的样本量要比“点击->转化”阶段的样本量要大,鉴于Embedding层参数的共享,因此,能够充分学习到Embedding层的参数。

发布博客 2023-01-12 18:12:37
888 次阅读
深度网络CTR建模

CTR预估是现如今的搜索、推荐以及广告中必不可少的一部分,CTR预估的目标是预估用户点击给定item的概率。经过这么多年的发展,CTR预估算法得到了较大的改进,从开始的线性模型LR,发展到带有特征交叉的FM算法,随着深度网络的发展,CTR预估也逐渐发展到如今的基于深度模型的CTR预估,期间出现了较大一批成功在业界得到广泛应用的算法模型,如Wide & Deep,DeepFM,DIN,DIEN等等。

发布博客 2022-12-30 18:41:08
659 次阅读
召回和排序模型中的用户行为序列的建模

用户历史行为数据对用户兴趣的挖掘至关重要,无论是召回阶段,还是排序阶段,都需要使用到这部分的数据,随着深度学习的发展,对行为数据的挖掘也在不断深入,从最初的简单的Pooling操作,到序列挖掘,到Attention的计算,到多兴趣的挖掘,对这部分数据的挖掘也会进一步提升模型的效果。

发布博客 2022-12-28 22:27:22
620 次阅读
人脸检测和对齐算法MTCNN

在2016年Kaipeng Zhang, Zhanpeng Zhang等人提出了人脸检测算法MTCNN(Multi-task Cascaded Convolutional Networks)模型,MTCNN算法的效果也是得到了很多实际项目的验证,在工业界得到了广泛的应用,在我个人的实际项目中也得到了较多应用。

发布博客 2022-12-23 00:35:08
848 次阅读