ex6.A.8 ラプラス分布のパラメータの最尤推定量(MLE)

はじめに

「入門・演習 数理統計」の演習問題の自作解答を紹介します。

[商品価格に関しましては、リンクが作成された時点と現時点で情報が変更されている場合がございます。]

入門・演習数理統計 [ 野田一雄 ]
価格:3780円(税込、送料無料) (2018/4/3時点)



間違い等発見されましたらご指摘ください。
他の解答はこちらから。
なお、問題文は(必要がない限り)掲載しておりません。テキストを横に置いてご覧ください。

また、スマートフォン等では数式が画面からはみ出る場合があります。数式部分は横スクロールできます。



スポンサーリンク


$\newcommand{\lnl}{\\[8pt]}$ $\newcommand{\Lnl}{\\[18pt]}$ $\newcommand{\delt}{\mathrm{d}}$ $\newcommand{\comb}{\mathrm{C}}$ $\DeclareMathOperator*{\ssum}{\Sigma}$ $\DeclareMathOperator*{\sprod}{\Pi}$

ex6.A.8

尤度関数$L(\theta;\bm{x})$は,

\begin{align}
L(\theta;\bm{x}) &= \prod_{i=1}^n f_X(x_i) \lnl
&= \frac{1}{2^n} \exp\left(-\sum_{i=1}^n \Big|x_i – \theta\Big|\right)
\end{align}

となる.対数尤度関数$l(\theta;\bm{x})=\log L(\theta;\bm{x})$は,
\begin{align}
l(\theta;\bm{x}) &= -n\log 2-\sum_{i=1}^n \Big|x_i – \theta\Big|\lnl
&= -n\log 2-\sum_{i=1}^n \sqrt{(x_i – \theta)^2}\label{eq-6a8-1}
\end{align}

となる.$l$を最大化する$\theta$が最尤推定量となる.

$l$は全ての$\theta$で連続であるが, $\theta = x_1,x_2,\cdots,x_n$の各点で微分不可能である.
微分可能な点では,

\begin{align}
l'(\theta;\bm{x}) &=\sum_{i=1}^n \frac{x_i-\theta}{ \sqrt{(x_i – \theta)^2}} = \sum_{i=1}^n \mathrm{sgn}(x_i-\theta) \label{eq-6a8-2}
\end{align}

となる.ここで$\mathrm{sgn}(x)$は
\begin{align}
\mathrm{sgn}(x) = \begin{cases}1 & x> 0 \\0 & x = 0 \\ -1 &x < 0\end{cases}
\end{align}

とする.

$\tilde{x}$を標本メジアンとする.

$\theta < \tilde{x}$のとき,$l’$が定義される点全てで$l'(\theta;\bm{x}) \ge 0$となる.同様に$\theta > \tilde{x}$のとき$l’$が定義される点全てで$l'(\theta;\bm{x}) \le 0$となる(★).

$l$が全ての$\theta$で連続であることから$\theta = \tilde{x}$のとき$l(\theta;\bm{x})$を最大化することがわかるため示された.

補足

(★)部分で等号成立の条件を見てみましょう.

$n$が奇数($n=2k+1$)のときは, 標本メジアンの定義より$\tilde{x}= x_{(k+1)}$です.$\theta < \tilde{x}$のとき, $\mathrm{sgn}(x_i -\theta) = 1$となる$i$は高々$k$個であり, $\mathrm{sgn}(x_i – \theta) = -1$となる$i$は少なくとも$k+1$個です.すなわち$l'(\theta,\mathrm{x}) > 0$となるので等号は成立しません.$\theta > \tilde{x}$のときも同様に示せます.
つまり$n$が奇数のときは等号は成立しえません.

$n$が偶数($n=2k$)のときを考えます.

$x_{(k)} = x_{(k+1)}$のとき,標本メジアンの定義より$\tilde{x} = x_{(k)} = x_{(k+1)}$です.$\theta < \tilde{x}$のとき, $\mathrm{sgn}(x_i -\theta) = 1$となる$i$は高々$k-1$個であり, $\mathrm{sgn}(x_i – \theta) = -1$となる$i$は少なくとも$k+1$個です.すなわち$l'(\theta,\mathrm{x}) > 0$となるので等号は成立しません.$\theta > \tilde{x}$のときも同様に示せます.
つまり$n$が偶数でも$x_{(k)} = x_{(k+1)}$のときは等号は成立しえません.

$x_{(k)} \ne x_{(k+1)}$のとき, $x_{(k)} < \theta < x_{(k+1)}$となる$\theta$のとき等号が成立します.なぜならば, $x_{(k)} < \theta < x_{(k+1)}$で$l'(\theta;\bm{x})$は存在し, $\mathrm{sgn}(x_i-\theta)=1$となる$i$は$k$個, $\mathrm{sgn}(x_i-\theta)=-1$となる$i$も$k$個存在するので$l'(\theta;\bm{x})=0$となります.

以上より, $n$が偶数で$x_{(k)} \ne x_{(k+1)}$のとき, $\theta$のMLEは$x_{(k)} < \theta < x_{(k+1)}$となる全ての$\theta$となります.(標本メジアンもこの中の1点)