目次
- はじめに
- ex7.3.1
- (i)全パラメータ空間でのパラメータ$(\mu,\sigma^2)$の最尤推定量$(\hat{\mu},\hat{\sigma}^2)$を求める
- (ii)$H_0$の下でのパラメータ$(\mu,\sigma^2)$の最尤推定量$(\hat{\mu}_0,{\hat{\sigma}_0}^2)$を求める
- (iii)$\lambda(\bm{x})= \cfrac{L((\hat{\mu}_0,{\hat{\sigma}_0}^2);\bm{x})}{L((\hat{\mu},\hat{\sigma}^2);\bm{x})}$を計算する
- (iv)$P(\lambda(\bm{x})< c) = \alpha$となる棄却域を求める
はじめに
「入門・演習 数理統計」の演習問題の自作解答を紹介します。
|
間違い等発見されましたらご指摘ください。
他の解答はこちらから。
なお、問題文は(必要がない限り)掲載しておりません。テキストを横に置いてご覧ください。
また、スマートフォン等では数式が画面からはみ出る場合があります。数式部分は横スクロールできます。
スポンサーリンク
$\newcommand{\lnl}{\\[8pt]}$ $\newcommand{\Lnl}{\\[18pt]}$ $\newcommand{\delt}{\mathrm{d}}$ $\newcommand{\comb}{\mathrm{C}}$ $\DeclareMathOperator*{\ssum}{\Sigma}$ $\DeclareMathOperator*{\sprod}{\Pi}$
ex7.3.1
(i)全パラメータ空間でのパラメータ$(\mu,\sigma^2)$の最尤推定量$(\hat{\mu},\hat{\sigma}^2)$を求める
テキストの(例6.3.2)より, 全パラメータ空間の$(\mu,\sigma^2)$の最尤推定量は,
\begin{align}
\hat{\mu} = \overline{X} ,\qquad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2
\end{align}
\hat{\mu} = \overline{X} ,\qquad \hat{\sigma}^2 = \frac{1}{n}\sum_{i=1}^n(X_i-\overline{X})^2
\end{align}
である.
(ii)$H_0$の下でのパラメータ$(\mu,\sigma^2)$の最尤推定量$(\hat{\mu}_0,{\hat{\sigma}_0}^2)$を求める
$\hat{\sigma}^2 < {\sigma_0}^2$のときと$\hat{\sigma}^2 \ge {\sigma_0}^2$のときで場合分けして考える. 簡単にわかるようにいずれの場合でも,
\begin{align}
\hat{\mu}_0 = \overline{X}
\end{align}
である.
$\hat{\sigma}^2 < {\sigma_0}^2$のとき
全体の最尤推定量と一致するから,
\begin{align}
{\hat{\sigma}}_0^2 = \hat{\sigma}^2
\end{align}
{\hat{\sigma}}_0^2 = \hat{\sigma}^2
\end{align}
である.
$\hat{\sigma}^2 \ge {\sigma_0}^2$のとき
尤度関数$L((\mu,\sigma^2);\bm{x})$は,
\begin{align}
L((\mu,\sigma^2);\bm{x})&= \left(\frac{1}{\sqrt{2\pi \sigma^2}}\right)^n\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i – \mu)^2\right)
\end{align}
L((\mu,\sigma^2);\bm{x})&= \left(\frac{1}{\sqrt{2\pi \sigma^2}}\right)^n\exp\left(-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i – \mu)^2\right)
\end{align}
対数尤度関数$l((\mu,\sigma^2);\bm{x}) = \log L((\mu,\sigma^2);\bm{x})$は,
\begin{align}
l((\mu,\sigma^2);\bm{x}) &= -\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i – \mu)^2 – \frac{n}{2}\log {\sigma^2} – \frac{n}{2} \log(2\pi)
\end{align}
l((\mu,\sigma^2);\bm{x}) &= -\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i – \mu)^2 – \frac{n}{2}\log {\sigma^2} – \frac{n}{2} \log(2\pi)
\end{align}
なので,
\begin{align}
\frac{\partial}{\partial \sigma^2} l((\mu,\sigma^2);\bm{x}) &= \frac{1}{2\sigma^4}\sum_{i=1}^n(x_i-\mu)^2 – \frac{n}{2\sigma^2}\label{eq-731-2}
\end{align}
\frac{\partial}{\partial \sigma^2} l((\mu,\sigma^2);\bm{x}) &= \frac{1}{2\sigma^4}\sum_{i=1}^n(x_i-\mu)^2 – \frac{n}{2\sigma^2}\label{eq-731-2}
\end{align}
$\eqref{eq-731-2}$が$0$となる$\sigma^2$を求めたいが簡単にわかるように, $H_0$:$\sigma^2 \le {\sigma_0}^2$で解は存在せず, 常に正であることがわかる.つまり$H_0$で$L$は$\sigma^2$に関して単調増加.従って,$H_0$の下での最尤推定量${\hat{\sigma}_0}^2$は,
\begin{align}
{\hat{\sigma}_0}^2= {\sigma_0}^2
\end{align}
{\hat{\sigma}_0}^2= {\sigma_0}^2
\end{align}
となる.
(iii)$\lambda(\bm{x})= \cfrac{L((\hat{\mu}_0,{\hat{\sigma}_0}^2);\bm{x})}{L((\hat{\mu},\hat{\sigma}^2);\bm{x})}$を計算する
$\hat{\sigma}^2 < {\sigma_0}^2$のとき
(ii)の結果より,
\begin{align}
\lambda(\bm{x})= \cfrac{L((\hat{\mu}_0,{\hat{\sigma}_0}^2);\bm{x})}{L((\hat{\mu},\hat{\sigma}^2);\bm{x})} = 1
\end{align}
\lambda(\bm{x})= \cfrac{L((\hat{\mu}_0,{\hat{\sigma}_0}^2);\bm{x})}{L((\hat{\mu},\hat{\sigma}^2);\bm{x})} = 1
\end{align}
$\hat{\sigma}^2 \ge {\sigma_0}^2$のとき
(i)(ii)の結果より分母・分子を計算する.
\begin{align}
L((\hat{\mu}_0,{\hat{\sigma}_0}^2);\bm{x}) &= \left(\frac{1}{\sqrt{2\pi {\sigma_0}^2}}\right)^n\exp\left(-\frac{1}{2{\sigma_0}^2}\sum_{i=1}^n(x_i – \overline{x})^2\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n\left(\frac{1}{{\sigma_0}^2}\right)^\frac{n}{2} \exp\left(-\frac{n}{2{\sigma_0}^2} \cdot \underline{\frac{1}{n}\sum_{i=1}^n(x_i – \overline{x})^2}\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n\left(\frac{1}{{\sigma_0}^2}\right)^\frac{n}{2} \exp\left(-\frac{n}{2{\sigma_0}^2} \cdot \underline{\hat{\sigma}^2}\right)\Lnl
L((\hat{\mu},\hat{\sigma}^2);\bm{x}) &= \left(\frac{1}{\sqrt{2\pi \hat{\sigma}^2}}\right)^n \exp\left(-\frac{1}{2\hat{\sigma}^2}\sum_{i=1}^n(x_i – \overline{x})^2\right)\lnl
&=\left(\frac{1}{\sqrt{2\pi }}\right)^n \left(\frac{1}{{\hat{\sigma}}^2}\right)^\frac{n}{2}\exp\left(-\frac{n}{2\hat{\sigma}^2}\underline{\frac{1}{n}\sum_{i=1}^n(x_i – \overline{x})^2}\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n \left(\frac{1}{{\hat{\sigma}}^2}\right)^\frac{n}{2}\exp\left(-\frac{n}{2\hat{\sigma}^2}\underline{\hat{\sigma}^2}\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n \left(\frac{1}{{\hat{\sigma}}^2}\right)^\frac{n}{2}\exp\left(-\frac{n}{2}\right)\lnl
\end{align}
L((\hat{\mu}_0,{\hat{\sigma}_0}^2);\bm{x}) &= \left(\frac{1}{\sqrt{2\pi {\sigma_0}^2}}\right)^n\exp\left(-\frac{1}{2{\sigma_0}^2}\sum_{i=1}^n(x_i – \overline{x})^2\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n\left(\frac{1}{{\sigma_0}^2}\right)^\frac{n}{2} \exp\left(-\frac{n}{2{\sigma_0}^2} \cdot \underline{\frac{1}{n}\sum_{i=1}^n(x_i – \overline{x})^2}\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n\left(\frac{1}{{\sigma_0}^2}\right)^\frac{n}{2} \exp\left(-\frac{n}{2{\sigma_0}^2} \cdot \underline{\hat{\sigma}^2}\right)\Lnl
L((\hat{\mu},\hat{\sigma}^2);\bm{x}) &= \left(\frac{1}{\sqrt{2\pi \hat{\sigma}^2}}\right)^n \exp\left(-\frac{1}{2\hat{\sigma}^2}\sum_{i=1}^n(x_i – \overline{x})^2\right)\lnl
&=\left(\frac{1}{\sqrt{2\pi }}\right)^n \left(\frac{1}{{\hat{\sigma}}^2}\right)^\frac{n}{2}\exp\left(-\frac{n}{2\hat{\sigma}^2}\underline{\frac{1}{n}\sum_{i=1}^n(x_i – \overline{x})^2}\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n \left(\frac{1}{{\hat{\sigma}}^2}\right)^\frac{n}{2}\exp\left(-\frac{n}{2\hat{\sigma}^2}\underline{\hat{\sigma}^2}\right)\lnl
&= \left(\frac{1}{\sqrt{2\pi }}\right)^n \left(\frac{1}{{\hat{\sigma}}^2}\right)^\frac{n}{2}\exp\left(-\frac{n}{2}\right)\lnl
\end{align}
であるので,
\begin{align}
\lambda(\bm{x}) = \left(\frac{\hat{\sigma}^2}{{\hat{\sigma}_0}^2}\right)^\frac{n}{2} \exp\left(-\frac{n}{2}\left(\frac{\hat{\sigma}^2}{{\sigma_0}^2} – 1\right)\right)
\end{align}
\lambda(\bm{x}) = \left(\frac{\hat{\sigma}^2}{{\hat{\sigma}_0}^2}\right)^\frac{n}{2} \exp\left(-\frac{n}{2}\left(\frac{\hat{\sigma}^2}{{\sigma_0}^2} – 1\right)\right)
\end{align}
(iv)$P(\lambda(\bm{x})< c) = \alpha$となる棄却域を求める
$\hat{\sigma}^2 < {\sigma_0}^2$のとき
$\lambda(\bm{x})$は$1$なので, そのような棄却域を定めることはできない.
$\hat{\sigma}^2 \ge {\sigma_0}^2$のとき
$t= \cfrac{\hat{\sigma}^2}{{\hat{\sigma}_0}^2}$とおくと$\lambda(\bm{x})$は,
\begin{align}
\lambda(\bm{x}) = t^\frac{n}{2}\exp\left(-\frac{n}{2}(t-1)\right)\lnl
\frac{\delt}{\delt t}\lambda(\bm{x}) = (1-t)\cdot \frac{n}{2}t^{\frac{n}{2}-1}\exp\left(-\frac{n}{2}(t-1)\right)
\end{align}
\lambda(\bm{x}) = t^\frac{n}{2}\exp\left(-\frac{n}{2}(t-1)\right)\lnl
\frac{\delt}{\delt t}\lambda(\bm{x}) = (1-t)\cdot \frac{n}{2}t^{\frac{n}{2}-1}\exp\left(-\frac{n}{2}(t-1)\right)
\end{align}
ここで,$t \ge 0$だから, $\lambda(\bm{x})$は$t$に関して(広義)単調減少である.従って,$P(\lambda(\bm{x}) < c) = \alpha$を満たす定数$c$に対して定数$c'$が存在して
\begin{align}
P(t > c’) = \alpha\label{eq-731-1}
\end{align}
\end{align}
とすることができる.
一方,
\begin{align}
nt = \cfrac{n\hat{\sigma}^2}{{\hat{\sigma}_0}^2} = \frac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})}{{\sigma_0}^2} \sim \chi^2(n-1)
\end{align}
nt = \cfrac{n\hat{\sigma}^2}{{\hat{\sigma}_0}^2} = \frac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})}{{\sigma_0}^2} \sim \chi^2(n-1)
\end{align}
である.ただし,$\chi^2(n-1)$は自由度$n-1$のカイ二乗分布.従って,自由度$n-1$のカイ二乗分布の上側$\alpha$点を${\chi^2}_{n-1,\alpha}$とすれば,
\begin{align}
P(nt > {\chi^2}_{n-1,\alpha}) = \alpha
\end{align}
P(nt > {\chi^2}_{n-1,\alpha}) = \alpha
\end{align}
となる.つまり,$\eqref{eq-731-1}$の$c’$は$\cfrac{{\chi^2}_{n-1,\alpha}}{n}$とすればよいことがわかる.
以上より, 求める尤度比検定は,
\begin{align}
\frac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})}{{\sigma_0}^2} > {\chi^2}_{n-1,\alpha}
\end{align}
\frac{\displaystyle \sum_{i=1}^n (x_i-\overline{x})}{{\sigma_0}^2} > {\chi^2}_{n-1,\alpha}
\end{align}
なら$H_0$を棄却する検定である.