Siamese Network是受到了Siamese的启发,旨在通过共享网络的方式学习出对数据的表征,通过设计不同的损失函数,如Contrastive Loss和Triplet Loss,从而实现对不同数据的度量。
淘宝在2021年也提出了对应的向量召回算法MGDSPR(Multi-Grained Deep Semantic Product Retrieval)。在MGDSPR中着重要解决的问题是如何优化相关性的问题,这一点在其他的文章中很少提及,但是搜索中的相关性问题对于向量召回来说是避不开的一个问题,而且是一个较难解决的一个问题
在Que2Search中,主要是加入了更多的文本特征,并利用基于Transformer的方法提取文本语义信息,同时在特征中融入了图像的特征,实现了多模态的模型学习。另一方面,在训练的过程中提出了多任务的学习,有利于对item塔的模型学习。
京东也提出了自己的向量召回算法DPSR(Deep Personalized and Semantic Retrieval),着重解决两个方面的问题,第一是语义相关而并非严格的词匹配;第二是提供更多的个性化
在召回阶段,综合考虑相关性和CPM,其实这就是一个多目标的问题,这样就能保证前后的一致性。在百度的Mobius系统中就是要解决这样的一个问题,同时,Mobius的目标是要将召回和排序合并成一个大模型。
ViT模型将Transformer引入到图像的分类中,更准确的说是Transformer中的Encoder模块。为了能够尽可能少地对原始模型的修改,在ViT中将图像转换成一维的序列表示,以改成标准的文本形式,通过这种方式实现Transformer在CV中的应用。
Label Propagation算法是一种基于标签传播的局部社区划分算法,相比较而言其简单的计算过程,能够在大规模的图数据上应用。