深度学习基础

Siamese Network是受到了Siamese的启发，旨在通过共享网络的方式学习出对数据的表征，通过设计不同的损失函数，如Contrastive Loss和Triplet Loss，从而实现对不同数据的度量。

知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型，由于网络模型复杂度的减小，使得压缩后的Student模型的性能得到较大提升。