联合分布函数,正态分布样本的联合分布函数?
说一点自己的理解联合分布函数。先验分布一般属于贝叶斯估计里面的内容。
在参数的贝叶斯估计中,我们用到的公式(1)是下面这个:
左边的部分p(Θ|x)是后验分布,右边分子的前半部分p(x|Θ)是似然函数,g(Θ)是后验分布。
似然估计:用似然函数p(x|Θ)去估计参数的取值,具体是:
若总体X属离散型,其分布律P{X=x}=p(x;θ),θ∈Θ的形式为已知,θ为待估参数,Θ是θ可能的取值范围,设X1,X2,⋯,Xn是来自X的样本,则X1,X2,⋯,Xn的联合概率分布为:
设x1,x2,⋯,xn相应的样本值,易知样本X1,X2,⋯,Xn取到样本值x1,x2,⋯,xn的概率,亦即事件{X1=x1,X2=x2,⋯,Xn=xn}发生的概率为:
这一概率随Θ的取值而变化,它是Θ的函数,在似然估计中出现的这个L(θ)称为样本的似然函数(注意这里x1,x2,⋯,xn都是已知的样本值,它们都是常数),就是公式(1)中的p(x|Θ)。
先验分布:在贝叶斯学派对问题(比如说参数估计)的认知中,他们认为我们对于参数Θ在一开始是有一个先验分布的,这个先验分布可以理解为人们对事物的认识,是人们通过自己的认识人为确定的一个超参数。
结合似然函数,我们把右边分子部分领出来看(假设只有一个样本X1):
p(x|Θ)g(Θ)=Pr(X1=x1|Θ=θ)*Pr(Θ=θ),其中X1,Θ是随机变量,x1,θ是变量的一个取值。
这个左边的乘积(或者说概率)比较好理解了,可以理解为我们认为假设的先验分布(比如我们可以假设Θ服从正态分布)里面Θ=θ的概率乘以X关于Θ的分布(比如可以是一个参数为Θ的指数分布)里面样本值取到x1的概率。先验概率经过似然分布(或者说实际样本)的调整后,两者的乘积越大,那么参数Θ取到θ的概率也就越大。
补充:公式(1)中等式右边的分母可以理解为对于分子的归一化,使得整个等式右边的结果可以满足概率的定义。
后验分布:公式(1)等式左边就是后验分布了,跟上面结合起来理解就是先验分布通过似然分布(实际的抽样实验)调整得到的参数Θ取得θ的概率。
上面说的是在参数估计中先验分布,后验分布,似然估计(和似然函数、分布)怎么理解。下面在补充一个简单的概率计算中贝叶斯估计的应用,帮助理解:
可以看到先验分布中,元器件属于制造厂2的概率最大为0.8,但是经过似然函数(实验抽到了一个次品)的调整后,后验概率中元器件属于制造厂2的概率下降到了0.64。这就是贝叶斯估计的过程,先有一个先验分布,经过似然分布的调整以后验证
随机变量X和Y的联合分布函数是设(X,Y)是二维随机变量,对于任意实数x,y,二元函数:F(x,y) = P{(X<=x) 交 (Y<=y)} => P(X<=x, Y<=y)称为二维随机变量(X,Y)的分布函数。
如果将二维随机变量(X,Y)看成是平面上随机点的坐标,那么分布函数F(x,y)在(x,y)处的函数值就是随机点(X,Y)落在以点(x,y)为顶点而位于该点左下方的无穷矩形域内的概率。
分布率是什么:是一个集合,集合的元素是序对,序对的第一个元素是自然数,第2个元素是概率。
意义:对一个离散型随机变量X,其取值为k的概率为pk。分布律反映了一个离散型随机变量的概率分布的全貌。