Conditional GAN
在GAN中，无论是生成过程还是判别过程都是无任何指导的，Conditional GAN[1]提出在上述的两个过程中引入一个条件，以此指导上述的两个过程。
2022-12-16 21:39:45
阅读：165
Felix的专栏 Keep your eyes open and your feet moving forward. You'll find what you need.
空间金字塔池化Spatial Pyramid Pooling
针对不同大小的输入图像，在传统CNN网络中，需要首先将图像通过裁剪或者拉伸等变换转换到固定大小，通过分析，不同尺寸的输入主要是对全连接层有影响，SPP-Net中，在全连接层之前引入Spatial Pyramid Pooling Layer，可以将任意大小的输入转换成固定大小的输出。
2022-11-15 22:51:51
阅读：222
卷积神经网络Inception Net
更宽更深的网络对于提升网络效果起到了至关重要的作用，但同时也带来了很多的问题，如难以训练，计算代价等等，沿着这条路，Google提出了Inception模块，并将其引入到卷积神经网络中，同时在网络的训练过程中又增加了诸如辅助分类器等帮助模型训练的优化，使得能够训练出更宽更深的网络模型Inception v1，同时在Inception v1的基础上，又继续优化，提出BN模块加速训练，提出大卷积转成多个小卷积来加速计算，得到了Inception v2和Inception v3模型。Google在Inception结构上的优化还未停止，在这之后，又吸收了其他模型结构的优势，推出了Inception v4以及xInception等等。
2022-11-13 17:43:03
阅读：224
BERT知识蒸馏TinyBERT
在TinyBERT中，精简了BERT模型的大小，设计了三种层的蒸馏，分别为transformer-layer，embedding-layer以及prediction-layer。同时，为了能够对以上三层的蒸馏，文中设计了两阶段的训练过程，分别与BERT的训练过程对应，即预训练和fine-tunning。
2022-11-08 23:48:15
阅读：298
卷积神经网络NIN
在传统的CNN网络中，使用卷积（Convolution）操作来提取感受野中的特征，卷积操作是由一个线性变换与非线性激活函数组成，为了能增强CNN网络的局部辨识能力，2014年Network In Network的结构被提出，其使用多层感知机的网络结构替换感受野上的线形变换和非线性激活函数，以此来增强模型的局部建模能力。
2022-09-24 13:00:01
阅读：336
卷积神经网络VGG
VGG是Oxford的Visual Geometry Group的组提出的，VGG的缩写也来自于这个组的名字。VGG网络探索了提升网络的深度对最终的图像识别准确率的重要性，同时在VGG中尝试使用小的卷积核来构建深层的卷积网络。VGG在当年的ILSVRC 2014上取得了第一的成绩，证明了增加网络的深度能够在一定程度上提高网络的性能。
2022-09-23 20:56:45
阅读：335
BERT知识蒸馏Distilled BiLSTM
Distilled BiLSTM是对于知识蒸馏较为一般性的实践，将BERT模型（Teacher）蒸馏到一个简单的BiLSTM模型（Student），蒸馏的目标函数中的蒸馏loss也是采用了对比logits结果的差异。虽然理论上较为简单，但是最终的结果是与与ELMo模型具有相同的效果，说明知识蒸馏的方法的有效性。
2022-09-16 18:16:12
阅读：345
知识蒸馏基本原理
知识蒸馏通过对Teacher模型的压缩得到效果接近的Student模型，由于网络模型复杂度的减小，使得压缩后的Student模型的性能得到较大提升。
2022-09-12 18:44:15
阅读：438
BERT模型解析
Bidirectional Encoder Representation from Transformers（BERT），即双向Transformer的Encoder表示，是2018年提出的一种基于上下文的预训练模型，通过大量语料学习到每个词的一般性embedding形式，学习到与上下文无关的语义向量表示，以此实现对多义词的建模。
2022-09-01 19:26:23
阅读：335
卷积神经网络AlexNet
AlexNet卷积神经网络在CNN的发展过程中起着非常重要的作用，AlexNet是由加拿大多伦多大学的Alex Krizhevsky等人提出。在当年的ImageNet图像分类竞赛，取得了大赛的冠军并且效果大大好于第二名。如今回过来看，AlexNet的主要贡献是ReLU、Dropout、Max-Pooling，这些技术基本上在AlexNet之后的大多数主流架构中都能见到。
2022-08-27 22:11:31
阅读：479
About Me
邮箱：zhaozhiyong1989@126.com