FastChat 框架中的服务解析

FastChat 是一个开源的用于训练,评估以及部署大模型的框架,本文聚焦在模型的推理部分,从源码的角度介绍其基本的工作原理。

利用 FastChat 框架部署一个完整的模型服务主要分为三个部分,分别为: Controller , Server 以及多个 Worker 。

发布博客 2023-10-22 21:11:34
1607 次阅读
Java 中的 final 关键字和 static 关键字

final 和 static 是 Java 中的两个关键字,其中, final 关键字可用于修饰类,方法和变量, static 关键字可用于修饰变量和方法。

发布博客 2023-08-15 20:12:00
513 次阅读
Siamese Network孪生网络

Siamese Network是受到了Siamese的启发,旨在通过共享网络的方式学习出对数据的表征,通过设计不同的损失函数,如Contrastive Loss和Triplet Loss,从而实现对不同数据的度量。

发布博客 2023-05-18 15:37:06
917 次阅读
淘宝搜索的向量召回算法MGDSPR

淘宝在2021年也提出了对应的向量召回算法MGDSPR(Multi-Grained Deep Semantic Product Retrieval)。在MGDSPR中着重要解决的问题是如何优化相关性的问题,这一点在其他的文章中很少提及,但是搜索中的相关性问题对于向量召回来说是避不开的一个问题,而且是一个较难解决的一个问题

发布博客 2023-04-02 01:24:27
1002 次阅读
Facebook的多任务多模态向量召回模型Que2Search

在Que2Search中,主要是加入了更多的文本特征,并利用基于Transformer的方法提取文本语义信息,同时在特征中融入了图像的特征,实现了多模态的模型学习。另一方面,在训练的过程中提出了多任务的学习,有利于对item塔的模型学习。

发布博客 2023-04-01 00:20:45
991 次阅读
京东个性化向量召回算法DPSR

京东也提出了自己的向量召回算法DPSR(Deep Personalized and Semantic Retrieval),着重解决两个方面的问题,第一是语义相关而并非严格的词匹配;第二是提供更多的个性化

发布博客 2023-03-31 17:49:49
912 次阅读
百度双塔召回引擎MOBIUS

在召回阶段,综合考虑相关性和CPM,其实这就是一个多目标的问题,这样就能保证前后的一致性。在百度的Mobius系统中就是要解决这样的一个问题,同时,Mobius的目标是要将召回和排序合并成一个大模型。

发布博客 2023-03-30 23:25:27
1043 次阅读