多目标建模总结
多目标建模已经成为当前推荐系统中的标配，在多目标建模过程中，需要考虑多个目标之间的相互关系，以选择合适的多目标建模方法，同时，在多目标的损失函数的设计上，也存在很多的优化方案，需要根据具体的应用场景选择合适的损失函数，以达到对具体任务的优化。
2023-01-19 15:50:16
330 次阅读
Felix的专栏 Keep your eyes open and your feet moving forward. You'll find what you need.
多目标建模算法PLE
为了解决多任务模型中普遍存在的负迁移和跷跷板现象，在MMoE模型的基础上提出了CGC模型，在共享专家的基础上增加了针对特定任务的专家网络，可以针对特定任务学习到独有的网络部分，从而避免任务之间的相互影响，同时为了进一步提升整体网络的泛化效果，在CGC的基础上通过堆叠Extraction Network构造了更深的网络结构，进一步提升多任务模型的学习效果。
2023-01-18 00:46:51
255 次阅读
注意力FM模型AFM
AFM模型在FM模型的基础上，引入了Attention机制，通过Attention的网络对FM模型中的交叉特征赋予不同的权重。
2023-01-16 17:34:26
248 次阅读
用户多兴趣建模MIND
在MIND中，通过Mulit-Interest Extractor Layer获取User的多个兴趣向量表达，并采用动态路由（Dynamic Routing）的方法自适应地将User历史行为聚合到User兴趣表达向量中；最后通过Label-Aware Attention机制，指导网络学习到用户的多兴趣Embedding向量。
2023-01-14 15:53:37
421 次阅读
CVR预估模型ESMM
在ESMM网络中，通过引入两个辅助任务CTR和CTCVR，由于这两个任务的输入空间都变成了“曝光”，从而解决了传统CVR建模中在training和inference两个过程中输入空间不一致的问题，另一个方面，因为“曝光->点击”阶段的样本量要比“点击->转化”阶段的样本量要大，鉴于Embedding层参数的共享，因此，能够充分学习到Embedding层的参数。
2023-01-12 18:12:37
304 次阅读
深度网络CTR建模
CTR预估是现如今的搜索、推荐以及广告中必不可少的一部分，CTR预估的目标是预估用户点击给定item的概率。经过这么多年的发展，CTR预估算法得到了较大的改进，从开始的线性模型LR，发展到带有特征交叉的FM算法，随着深度网络的发展，CTR预估也逐渐发展到如今的基于深度模型的CTR预估，期间出现了较大一批成功在业界得到广泛应用的算法模型，如Wide & Deep，DeepFM，DIN，DIEN等等。
2022-12-30 18:41:08
286 次阅读
召回和排序模型中的用户行为序列的建模
用户历史行为数据对用户兴趣的挖掘至关重要，无论是召回阶段，还是排序阶段，都需要使用到这部分的数据，随着深度学习的发展，对行为数据的挖掘也在不断深入，从最初的简单的Pooling操作，到序列挖掘，到Attention的计算，到多兴趣的挖掘，对这部分数据的挖掘也会进一步提升模型的效果。
2022-12-28 22:27:22
279 次阅读
人脸检测和对齐算法MTCNN
在2016年Kaipeng Zhang, Zhanpeng Zhang等人提出了人脸检测算法MTCNN（Multi-task Cascaded Convolutional Networks）模型，MTCNN算法的效果也是得到了很多实际项目的验证，在工业界得到了广泛的应用，在我个人的实际项目中也得到了较多应用。
2022-12-23 00:35:08
332 次阅读
Conditional GAN
在GAN中，无论是生成过程还是判别过程都是无任何指导的，Conditional GAN[1]提出在上述的两个过程中引入一个条件，以此指导上述的两个过程。
2022-12-16 21:39:45
245 次阅读
空间金字塔池化Spatial Pyramid Pooling
针对不同大小的输入图像，在传统CNN网络中，需要首先将图像通过裁剪或者拉伸等变换转换到固定大小，通过分析，不同尺寸的输入主要是对全连接层有影响，SPP-Net中，在全连接层之前引入Spatial Pyramid Pooling Layer，可以将任意大小的输入转换成固定大小的输出。
2022-11-15 22:51:51
318 次阅读
卷积神经网络Inception Net
更宽更深的网络对于提升网络效果起到了至关重要的作用，但同时也带来了很多的问题，如难以训练，计算代价等等，沿着这条路，Google提出了Inception模块，并将其引入到卷积神经网络中，同时在网络的训练过程中又增加了诸如辅助分类器等帮助模型训练的优化，使得能够训练出更宽更深的网络模型Inception v1，同时在Inception v1的基础上，又继续优化，提出BN模块加速训练，提出大卷积转成多个小卷积来加速计算，得到了Inception v2和Inception v3模型。Google在Inception结构上的优化还未停止，在这之后，又吸收了其他模型结构的优势，推出了Inception v4以及xInception等等。
2022-11-13 17:43:03
314 次阅读
BERT知识蒸馏TinyBERT
在TinyBERT中，精简了BERT模型的大小，设计了三种层的蒸馏，分别为transformer-layer，embedding-layer以及prediction-layer。同时，为了能够对以上三层的蒸馏，文中设计了两阶段的训练过程，分别与BERT的训练过程对应，即预训练和fine-tunning。
2022-11-08 23:48:15
403 次阅读
卷积神经网络NIN
在传统的CNN网络中，使用卷积（Convolution）操作来提取感受野中的特征，卷积操作是由一个线性变换与非线性激活函数组成，为了能增强CNN网络的局部辨识能力，2014年Network In Network的结构被提出，其使用多层感知机的网络结构替换感受野上的线形变换和非线性激活函数，以此来增强模型的局部建模能力。
2022-09-24 13:00:01
432 次阅读
卷积神经网络VGG
VGG是Oxford的Visual Geometry Group的组提出的，VGG的缩写也来自于这个组的名字。VGG网络探索了提升网络的深度对最终的图像识别准确率的重要性，同时在VGG中尝试使用小的卷积核来构建深层的卷积网络。VGG在当年的ILSVRC 2014上取得了第一的成绩，证明了增加网络的深度能够在一定程度上提高网络的性能。
2022-09-23 20:56:45
452 次阅读
BERT知识蒸馏Distilled BiLSTM
Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。
2022-09-16 18:16:12
440 次阅读
关于我
