FastChat 是一个开源的用于训练，评估以及部署大模型的框架，本文聚焦在模型的推理部分，从源码的角度介绍其基本的工作原理。
利用 FastChat 框架部署一个完整的模型服务主要分为三个部分，分别为： Controller ， Server 以及多个 Worker 。
final 和 static 是 Java 中的两个关键字，其中， final 关键字可用于修饰类，方法和变量， static 关键字可用于修饰变量和方法。
Siamese Network是受到了Siamese的启发，旨在通过共享网络的方式学习出对数据的表征，通过设计不同的损失函数，如Contrastive Loss和Triplet Loss，从而实现对不同数据的度量。
淘宝在2021年也提出了对应的向量召回算法MGDSPR（Multi-Grained Deep Semantic Product Retrieval）。在MGDSPR中着重要解决的问题是如何优化相关性的问题，这一点在其他的文章中很少提及，但是搜索中的相关性问题对于向量召回来说是避不开的一个问题，而且是一个较难解决的一个问题
在Que2Search中，主要是加入了更多的文本特征，并利用基于Transformer的方法提取文本语义信息，同时在特征中融入了图像的特征，实现了多模态的模型学习。另一方面，在训练的过程中提出了多任务的学习，有利于对item塔的模型学习。
京东也提出了自己的向量召回算法DPSR（Deep Personalized and Semantic Retrieval），着重解决两个方面的问题，第一是语义相关而并非严格的词匹配；第二是提供更多的个性化
在召回阶段，综合考虑相关性和CPM，其实这就是一个多目标的问题，这样就能保证前后的一致性。在百度的Mobius系统中就是要解决这样的一个问题，同时，Mobius的目标是要将召回和排序合并成一个大模型。
