正态分布平均值的贝叶斯推理玩具 R 代码 [降雪量数据]

我有一些降雪观测：

x <- c(98.044, 107.696, 146.050, 102.870, 131.318, 170.434, 84.836, 154.686,
       162.814, 101.854, 103.378, 16.256)

我被告知它遵循正态分布，已知标准差为 25.4，但平均值未知mu。我必须做出推断mu使用贝叶斯公式。

这是关于之前的信息mu

mean of snow |  50.8  | 76.2  | 101.6 | 127.0 |  152.4 | 177.8  
---------------------------------------------------------------
probability  |   0.1  | 0.15  | 0.25  |0.25   |  0.15  |  0.1 
---------------------------------------------------------------

以下是我到目前为止所尝试过的，但最后一行是关于post无法正常工作。生成的图仅给出一条水平线。

library(LearnBayes)
midpts <- c(seq(50.8, 177.8, 30))
prob <- c(0.1, 0.15, 0.25, 0.25, 0.15, 0.1)
p <- seq(50, 180, length = 40000)
histp <- histprior(p, midpts, prob)
plot(p, histp, type = "l")

# posterior density
post <- round(histp * dnorm(x, 115, 42) / sum(histp * dnorm(x, 115, 42)), 3)
plot(p, post, type = "l")

我的第一个建议是，确保您了解这背后的统计数据。当我看到你的时候

post <- round(histp * dnorm(x, 115, 42) / sum(histp * dnorm(x, 115, 42)), 3)

我认为你搞乱了几个概念。这似乎是贝叶斯公式，但您的可能性代码错误。正确的似然函数是

## likelihood function: `L(obs | mu)`
## standard error is known (to make problem easy) at 25.4
Lik <- function (obs, mu) prod(dnorm(obs, mu, 25.4))

Note, mu是一个未知数，所以它应该是这个函数的变量；此外，可能性是观察时所有个体概率密度的乘积。现在，我们可以评估可能性，例如mu = 100 by

Lik(x, 100)
# [1] 6.884842e-30

为了成功实现 R，我们需要函数的向量化版本Lik。也就是说，可以对向量输入进行评估的函数mu，而不仅仅是标量输入。我只会使用sapply对于矢量化：

vecLik <- function (obs, mu) sapply(mu, Lik, obs = obs)

咱们试试吧

vecLik(x, c(80, 90, 100))
# [1] 6.248416e-34 1.662366e-31 6.884842e-30

现在是时候获得先验分布了mu。原则上这是一个连续函数，但看起来我们想要它的离散近似，使用histprior来自 R 包LearnBayes.

## prior distribution for `mu`: `prior(mu)`
midpts <- c(seq(50.8, 177.8, 30))
prob <- c(0.1, 0.15, 0.25, 0.25, 0.15, 0.1)
mu_grid <- seq(50, 180, length = 40000)  ## a grid of `mu` for discretization
library(LearnBayes)
prior_mu_grid <- histprior(mu_grid, midpts, prob)  ## discrete prior density
plot(mu_grid, prior_mu_grid, type = "l")

在应用贝叶斯公式之前，我们首先计算出归一化常数NC在分母上。这将是一个积分Lik(obs | mu) * prior(mu)。但由于我们有离散近似prior(mu)，我们使用黎曼和来近似这个积分。

delta <- mu_grid[2] - mu_grid[1]    ## division size
NC <- sum(vecLik(x, mu_grid) * prior_mu_grid * delta)    ## Riemann sum
# [1] 2.573673e-28

太好了，一切准备就绪，我们可以使用贝叶斯公式：

posterior(mu | obs) = Lik(obs | mu) * prior(mu) / NC

再次，如prior(mu)被离散化，posterior(mu)也是离散化的。

post_mu <- vecLik(x, mu_grid) * prior_mu_grid / NC

哈哈，先画一下后面的mu查看推理结果：

plot(mu_grid, post_mu, type = "l")

哇，这太漂亮了！！