条件随机场笔记

本文主要整理自 Charles Sutton 的《An Introduction to Conditional Random Fields》。该文从 Graphical Models 讲起,介绍了条件随机场如何表述、推断以及进行参数,非常适合入门。 图模型 通常,我们要根据观察到的随机变量 $x$ 组成的特征向量 $\{x_{0},...,x_{T} »

MCMC

最近在处理文本主题分割的项目,感觉还是应该仔细整理、推导一遍马尔可夫理论相关的知识。该笔记主要摘自Dustin Stansbury 的博客。 蒙特卡洛方法 强大数定律:若有一系列独立同分布随机变量序列 ${X_{1},...,X_{n}}$ 且其期望 $E(X_{i}) = \mu < \infty$,则有: $P(lim_{n \to \infty} »

词向量笔记

该笔记整理自 Xin Rong 的《word2vec Parameter Learning Explained》,该Note用精炼的语言和推导讲解了word2vec模型中的参数更新问题。除此之外,该Note讲解循序渐进,从最初的bag-of-word(CBOW)和skip-gram(SG)模型讲起,直到更高级的优化技术。 Continuous Bag-of-Word Model 首先考虑只有单个词输入的CBOW模型,即输入一个词输出一个词的模型,如下图所示(该图取自Xin Rong的Note) 假设输入词是 »

概率图笔记:表述

该笔记整理自Probabilistic Graphical Models. 该部分的目的是:采用更加紧凑的方式来表达概率分布,从而减少运算和表达的冗余。 为了达到目的,将从6个方向考虑紧凑表达的问题: 独立性 独立性 考虑n次投币事件 $\{X_{i}|i=1,..,n. \forall i,j,X_{i} \perp X_{j} \}$,则有: $P( »