ELMo通过大量语料训练出与上下文无关的一系列向量表示，不同层级的向量带有不同的语言，包括了词法信息，句法信息以及语义信息，通过不同的组合，并在具体的上下文环境中微调得到带有上下文的词向量表示，并能够应用到具体的下游任务中。
什么是语言模型？通俗的来讲是判断一句话是否符合人说话的模型，神经网络语言模型是在统计语言模型的基础上，通过神经网络模型对句子的概率分布建模的方法。
循环神经网络RNN存在长距离依赖的问题，长短期记忆（Long Short-Term Memory，LSTM）网络便是为了解决RNN中存在的梯度爆炸的问题而提出。在LSTM网络中，主要依靠引入“门”机制来控制信息的传播。
深度语义模型（Deep Structured Sematic models, DSSM）是在2013年由微软的研究人员提出，主要解决的是在搜索的过程中，对于传统的依靠关键词匹配的方法的弊端（语义上的相似）提出的潜在语义模型。DSSM算法在实际工作中也被证明是卓有成效的算法，不仅在搜索中得到广泛的应用，同时也被使用在推荐系统的召回中。
Attention-Based BiLSTM结合双向的LSTM（Bidirectional LSTM）以及Attention机制处理文本分类的相关问题，通过attention机制，该方法可以聚焦到最重要的词，从而捕获到句子中最重要的语义信息。
详细介绍word2vec的原理以及计算过程，涉及word2vec中的基本概念，如CBOW模型和Skip-gram模型的网络结构，Hierarchical Softmax和Negative Sampling的基本概念以及训练方法，Hierarchical Softmax与Huffman树的关系