生成模型笔记

假设随机变量 $x$ 的集合 $X$ 的分布为 $P_{x \sim \mathbb{F}}(X),x \sim \mathbb{F}$,其对数似然为: $\mathcal{L}(X;\mathbb{F})=logP_{x \sim \mathbb{F} »

狄利克雷过程笔记

本文主要摘自 Yee Whye Teh 的《Dirichlet Processes: Tutorial and Practical Course》。 前言 简单考虑这样一类问题:根据已知观测数据集 $X=\{x_{i}\}_{i=1}^{|X|}$,预测新的数据 $\tilde{x}$ 的条件概率分布,即 $p( »

条件随机场笔记

本文主要整理自 Charles Sutton 的《An Introduction to Conditional Random Fields》。该文从 Graphical Models 讲起,介绍了条件随机场如何表述、推断以及进行参数,非常适合入门。 图模型 通常,我们要根据观察到的随机变量 $x$ 组成的特征向量 $\{x_{0},...,x_{T} »

MCMC

最近在处理文本主题分割的项目,感觉还是应该仔细整理、推导一遍马尔可夫理论相关的知识。该笔记主要摘自Dustin Stansbury 的博客。 蒙特卡洛方法 强大数定律:若有一系列独立同分布随机变量序列 ${X_{1},...,X_{n}}$ 且其期望 $E(X_{i}) = \mu < \infty$,则有: $P(lim_{n \to \infty} »

词向量笔记

该笔记整理自 Xin Rong 的《word2vec Parameter Learning Explained》,该Note用精炼的语言和推导讲解了word2vec模型中的参数更新问题。除此之外,该Note讲解循序渐进,从最初的bag-of-word(CBOW)和skip-gram(SG)模型讲起,直到更高级的优化技术。 Continuous Bag-of-Word Model 首先考虑只有单个词输入的CBOW模型,即输入一个词输出一个词的模型,如下图所示(该图取自Xin Rong的Note) 假设输入词是 »