FastChat 框架中的服务解析
FastChat 是一个开源的用于训练,评估以及部署大模型的框架,本文聚焦在模型的推理部分,从源码的角度介绍其基本的工作原理。
利用 FastChat 框架部署一个完整的模型服务主要分为三个部分,分别为: Controller , Server 以及多个 Worker 。
FastChat 是一个开源的用于训练,评估以及部署大模型的框架,本文聚焦在模型的推理部分,从源码的角度介绍其基本的工作原理。
利用 FastChat 框架部署一个完整的模型服务主要分为三个部分,分别为: Controller , Server 以及多个 Worker 。
final 和 static 是 Java 中的两个关键字,其中, final 关键字可用于修饰类,方法和变量, static 关键字可用于修饰变量和方法。
Siamese Network是受到了Siamese的启发,旨在通过共享网络的方式学习出对数据的表征,通过设计不同的损失函数,如Contrastive Loss和Triplet Loss,从而实现对不同数据的度量。
淘宝在2021年也提出了对应的向量召回算法MGDSPR(Multi-Grained Deep Semantic Product Retrieval)。在MGDSPR中着重要解决的问题是如何优化相关性的问题,这一点在其他的文章中很少提及,但是搜索中的相关性问题对于向量召回来说是避不开的一个问题,而且是一个较难解决的一个问题
在Que2Search中,主要是加入了更多的文本特征,并利用基于Transformer的方法提取文本语义信息,同时在特征中融入了图像的特征,实现了多模态的模型学习。另一方面,在训练的过程中提出了多任务的学习,有利于对item塔的模型学习。
京东也提出了自己的向量召回算法DPSR(Deep Personalized and Semantic Retrieval),着重解决两个方面的问题,第一是语义相关而并非严格的词匹配;第二是提供更多的个性化
在召回阶段,综合考虑相关性和CPM,其实这就是一个多目标的问题,这样就能保证前后的一致性。在百度的Mobius系统中就是要解决这样的一个问题,同时,Mobius的目标是要将召回和排序合并成一个大模型。