MCMC

最近在处理文本主题分割的项目,感觉还是应该仔细整理、推导一遍马尔可夫理论相关的知识。该笔记主要摘自Dustin Stansbury 的博客。 蒙特卡洛方法 强大数定律:若有一系列独立同分布随机变量序列 ${X_{1},...,X_{n}}$ 且其期望 $E(X_{i}) = \mu < \infty$,则有: $P(lim_{n \to \infty} »

词向量笔记

该笔记整理自 Xin Rong 的《word2vec Parameter Learning Explained》,该Note用精炼的语言和推导讲解了word2vec模型中的参数更新问题。除此之外,该Note讲解循序渐进,从最初的bag-of-word(CBOW)和skip-gram(SG)模型讲起,直到更高级的优化技术。 Continuous Bag-of-Word Model 首先考虑只有单个词输入的CBOW模型,即输入一个词输出一个词的模型,如下图所示(该图取自Xin Rong的Note) 假设输入词是 »

概率图笔记:表述

该笔记整理自Probabilistic Graphical Models. 该部分的目的是:采用更加紧凑的方式来表达概率分布,从而减少运算和表达的冗余。 为了达到目的,将从6个方向考虑紧凑表达的问题: 独立性 独立性 考虑n次投币事件 $\{X_{i}|i=1,..,n. \forall i,j,X_{i} \perp X_{j} \}$,则有: $P( »

Scala: Variance, Polymorphism And Monad

最近在用Scala写一个用于贝叶斯网络计算的库,用到了很多Scala语言的一些概念。该笔记主要通过举例子的方式通俗地描绘下Scala中型变、多态和单子的概念。该笔记主要参考自sinisalouc@medium 型变 在 Scala 中 String 继承自 AnyRef,直观上我们可以称 String 是一个 AnyRef 但不能说 AnyRef 是一个 String 我们希望程序满足里氏替换原则,从这个角度来看,String 是一个 AnyRef »

贝叶斯网络笔记

该笔记整理自张连文的《贝叶斯网引论》,主要记录建立一个隐结构模型所需要用到的知识点。另外觉得这本书非常适合作为贝叶斯方法学习的入门。 基本定义 样本空间:随机试验所有可能结果组成的空间,常记为 $\Omega$ 事件:$A \subset \Omega$ 概率测度:$P:2^{\Omega} \to [0, 1]$,且满Kolmogorov公理 规范性:$P(\Omega) = 1$ 非负性: »