如果扔一个骰子,已经连续扔出了8个1,下一个还会是1的概率是六分之一么?
的有关信息介绍如下:
假设数据为 ,骰子的参数(它的分布列)为 。单个数据的条件分布为 ,由 的独立性,条件分布为
其中随机变量 实质上是 的极小充分统计量。
如果要做极大似然估计,即求 ,结论为
代入数据 ,结论为这个骰子只有一面。
运用贝叶斯估计,认为先验分布是迪利克雷分布
其中 。归一化因子是多元Beta函数
表示Gamma函数。由于我们先验地认为骰子是均匀的,取 。
下面求后验分布。由贝叶斯公式
因此给定数据 的条件下,参数 满足参数为 的Dirichlet分布。
此时可以采用贝叶斯估计或极大后验估计,由于后验分布属于已知分布族,它的众数和期望都已知。
区别很小。如果采用贝叶斯估计,带入数据,结论是 , 。
的取值取决于你迷信不迷信—— 越大,你就越相信先验知识,不相信数据; 时,先验分布在支撑集上取常数,此时极大后验概率估计等价于极大似然估计,但是贝叶斯估计仍有一定的平滑作用。
这东西有实际作用(数据不充足的情况下做参数估计),又有理论基础,还挺好的。



