词向量笔记

该笔记整理自 Xin Rong 的《word2vec Parameter Learning Explained》,该Note用精炼的语言和推导讲解了word2vec模型中的参数更新问题。除此之外,该Note讲解循序渐进,从最初的bag-of-word(CBOW)和skip-gram(SG)模型讲起,直到更高级的优化技术。 Continuous Bag-of-Word Model 首先考虑只有单个词输入的CBOW模型,即输入一个词输出一个词的模型,如下图所示(该图取自Xin Rong的Note) 假设输入词是 »