Siamese Network孪生网络
Siamese Network是受到了Siamese的启发,旨在通过共享网络的方式学习出对数据的表征,通过设计不同的损失函数,如Contrastive Loss和Triplet Loss,从而实现对不同数据的度量。
发布博客 2023-05-18 23:37
4426 次阅读
Siamese Network是受到了Siamese的启发,旨在通过共享网络的方式学习出对数据的表征,通过设计不同的损失函数,如Contrastive Loss和Triplet Loss,从而实现对不同数据的度量。
知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型,由于网络模型复杂度的减小,使得压缩后的Student模型的性能得到较大提升。