什么是语言模型？通俗的来讲是判断一句话是否符合人说话的模型，神经网络语言模型是在统计语言模型的基础上，通过神经网络模型对句子的概率分布建模的方法。
谷歌在2016年发表的文章《Deep Neural Networks for YouTube Recommendations》成为行业内争相跟进的技术方案，其基本的算法思想也成为深度学习在推进系统领域的成功的范例。
序列深度匹配（Sequential Deep Match，SDM）模型是在特定场景下提出的用于对用户动态兴趣偏好建模的算法。SDM模型应用于淘宝的场景中，在淘宝的场景中，用户的行为主要分为两种，第一个是当前的浏览Session，用户在一个Session中，需求往往是十分明确的。另一个是之前的历史行为，一个用户虽然可能不是每次都来买球鞋，但是也可能提供一定的有用信息。因此需要分别对这两种行为序...
《Session-based recommendations with recurrent neural networks》首次提出将RNN方法应用于Session-based Recommendation。文章中提到当前主流的基于因子分解的模型或者基于邻域的模型很难对整个Session建模，得益于序列化建模算法的发展，使得基于Session的推荐模型成为可能，针对具体的任务，文章中设计了模...
Behavior Sequence Transformer（BST）算法是由阿里在2019年提出的算法，应用于淘宝推荐中的ranking阶段。在目前的推荐系统中，主流的深度学习方案，如WDL，并没有充分利用用户的行为序列（User's Behavior Sequence），在BST算法中，利用Transformer充分挖掘用户的行为序列，实现对用户行为序列的建模。
GES和EGES是阿里在2018年提出的两个基于Graph Embedding的算法，其中GES全称为Graph Embedding with Side Information，EGES全称为Enhanced Graph Embedding with Side Information。为了解决冷启动的问题，GES和EGES在计算item embedding的过程中引入了side inform...
循环神经网络RNN存在长距离依赖的问题，长短期记忆（Long Short-Term Memory，LSTM）网络便是为了解决RNN中存在的梯度爆炸的问题而提出。在LSTM网络中，主要依靠引入“门”机制来控制信息的传播。
DeepWalk算法是在KDD2014中提出的算法，最初应用在图表示（Graph Embedding）方向，由于在推荐系统中，用户的行为数据固然的可以表示成图的形式，因此DeepWalk算法也常被用于推荐系统中的item embedding的计算。
