极大似然估计 是建立在 极大似然原理 的基础上的一个统计方法,是概率论在统计学中的应用。
目录
1、极大似然原理
2、极大似然估计
1、极大似然原理
极大似然原理:在随机试验中,许多事件都有可能发生,概率大的事件发生的概率也大。若只进行一次试验,事件 A 发生了,则我们有理由认为 A 比其他事件发生的概率都大。
例如,一个箱子里有红黑两种颜色的球,数量为10个和1个,但并不知道到底哪种颜色的球为10个那种颜色的球为1个,这时我们随机从箱子里拿出一个球,如果这个球是红色的,那我们就认为盒子里红球有10个,黑球有1个。
2、极大似然估计
极大似然估计(ML)就是利用已知的样本结果(如上例中摸出来的球是红色的),反推最有可能(最大概率)导致这样结果的参数值(如上例中得出10红1黑的结论)。这也是统计学中用样本估计整体的一种阐述。
ML 提供了一种给定观察数据来评估模型参数的方法,即:“模型已定,参数未知”。通过若干次试验,观察其结果,利用试验结果得到某个参数值能够使样本出现的概率为最大,则称为极大似然估计。
如何理解“模型已定,参数未知”呢?这里的模型可以是一个参数未定的公式,也可以认为是一个机器学习模型。
如指数分布公式
![](https://img-blog.csdnimg.cn/c4b9eaf49ad04a99ab2e53eddfca01d5.png)
分布函数模型已知,参数 λ 即是所求参数,给定一组随机变量集 D,求最合适的一个参数
使得在该参数下 D 发生的概率最高。
再例如,我们有一个模型,模型中的未知参数为
,取值范围为
。还有一组含有 N 个样本的数据集 D:
![](https://img-blog.csdnimg.cn/70037a5d37c4406db793aaa7870c9f04.png)
我们要求得一组模型的参数
,使得数据集D出现的概率最大。定义似然函数(数据集D发生的概率)如下:
![](https://img-blog.csdnimg.cn/860718432cd4416bb362b138558bb549.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5L2g5Y235oiR5LiN5Y23,size_20,color_FFFFFF,t_70,g_se,x_16)
求解该似然函数就是求一组参数
使得
达到最大值,此时
就是
的最大似然估计量。
![](https://img-blog.csdnimg.cn/d1a6bdec7d684137801de3074dbca30c.png)
求解最大值,哪一定会涉及到函数求导,但是看 L 的公式就知道直接对求导过程大可能很麻烦且结果阶数较高,而考虑到函数 ln(L) 与 L 具有相同的趋势与最大值点,因此实际应用中为了便于分析,一般都会使用 对数似然函数 H=ln(L) 来求解
。
![](https://img-blog.csdnimg.cn/eb2db2f211de442a8de730332e51be8a.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5L2g5Y235oiR5LiN5Y23,size_11,color_FFFFFF,t_70,g_se,x_16)
然后令其 偏导数 等于 0:
![](https://img-blog.csdnimg.cn/e7f3ce677fa1465c98e893291f34b9ac.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5L2g5Y235oiR5LiN5Y23,size_12,color_FFFFFF,t_70,g_se,x_16)
方程的解只是一个估计值,只有在样本数趋于无限多的时候,它才会接近于真实值。
参考:
吴传生:《经济数学-概率论与数理统计》
极大似然估计详解_知行流浪-CSDN博客_极大似然估计
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)