在TinyBERT中，精简了BERT模型的大小，设计了三种层的蒸馏，分别为transformer-layer，embedding-layer以及prediction-layer。同时，为了能够对以上三层的蒸馏，文中设计了两阶段的训练过程，分别与BERT的训练过程对应，即预训练和fine-tunning。
在传统的CNN网络中，使用卷积（Convolution）操作来提取感受野中的特征，卷积操作是由一个线性变换与非线性激活函数组成，为了能增强CNN网络的局部辨识能力，2014年Network In Network的结构被提出，其使用多层感知机的网络结构替换感受野上的线形变换和非线性激活函数，以此来增强模型的局部建模能力。
VGG是Oxford的Visual Geometry Group的组提出的，VGG的缩写也来自于这个组的名字。VGG网络探索了提升网络的深度对最终的图像识别准确率的重要性，同时在VGG中尝试使用小的卷积核来构建深层的卷积网络。VGG在当年的ILSVRC 2014上取得了第一的成绩，证明了增加网络的深度能够在一定程度上提高网络的性能。
Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。
知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型，由于网络模型复杂度的减小，使得压缩后的Student模型的性能得到较大提升。
Bidirectional Encoder Representation from Transformers（BERT），即双向Transformer的Encoder表示，是2018年提出的一种基于上下文的预训练模型，通过大量语料学习到每个词的一般性embedding形式，学习到与上下文无关的语义向量表示，以此实现对多义词的建模。
AlexNet卷积神经网络在CNN的发展过程中起着非常重要的作用，AlexNet是由加拿大多伦多大学的Alex Krizhevsky等人提出。在当年的ImageNet图像分类竞赛，取得了大赛的冠军并且效果大大好于第二名。如今回过来看，AlexNet的主要贡献是ReLU、Dropout、Max-Pooling，这些技术基本上在AlexNet之后的大多数主流架构中都能见到。
Google于2017年提出了解决Seq2Seq问题的Transformer模型，用Self-Attention的结构完全代替了传统的基于RNN的建模方法，同时在Transformer的模块中加入了词序的信息，最终在翻译任务上取得了比RNN更好的成绩。
生成对抗网络GAN中通过生成网络G和判别网络D之间的“生成”和“对抗”过程，通过多次的迭代，最终达到平衡，使得训练出来的生成网络G能够生成“以假乱真”的数据，判别网络D不能将其从真实数据中区分开。
在召回模型的训练中，为了使得模型具有更好的鲁棒性，模型的样本尤为重要，相比而言，负样本更重要，通常，选择曝光且点击的样本作为负样本，随机选择样本作为负样本，同时，在训练过程中适当插入难负样本对于模型的鲁棒性有很好的作用。
GPT模型中通过采用Transformer结构中的Decoder作为语义模型的提取模型，可以显著提升文本语义的学习能力，同时两阶段的学习方法对于可以方便的将GPT应用在不同的任务中。
鉴于单一的固定向量不能表达用户兴趣的多样性，在深度兴趣网络DIN中使用了注意力机制捕获目标item与用户的行为序列中的item之间的相关性，得到在特定目标item的场景下的用户兴趣表示，从而提升对用户及时兴趣的捕捉能力。
与原始的Encoder-Decoder模型相比，加入Attention机制后最大的区别就是原始的Encoder将所有输入信息都编码进一个固定长度的向量之中。而加入Attention后，Encoder将输入编码成一个向量的序列，在Decoder的时候，每一步都会选择性的从向量序列中挑选一个集合进行进一步处理。这样，在产生每一个输出的时候，都能够做到充分利用输入序列携带的信息。
通过结合门控网络和混合专家组成的MMoE模型，从实验的结论上来看，能够利用同一个模型对多个任务同时建模，同时能够对多个任务之间的联系和区别建模。
ELMo通过大量语料训练出与上下文无关的一系列向量表示，不同层级的向量带有不同的语言，包括了词法信息，句法信息以及语义信息，通过不同的组合，并在具体的上下文环境中微调得到带有上下文的词向量表示，并能够应用到具体的下游任务中。
总文章数
73
总阅读数
178377