イントロ
確率変数$X$に対して$\sqrt{X}$や$X^2$の期待値や分散を求める問題は頻出です。
具体的に計算できればいいのですが、うまくできない場合にデルタ法(Delta method)による近似を行うことがあります。
今回は、デルタ法について紹介します。
スポンサーリンク
デルタ法による分散の近似
確率変数$X$に対して変換された確率変数$Y=f(X)$の分散を考える。
$E(X)=\mu_X , V(X) = \sigma_X^2$とする。
$f(X)$を$\mu_X$のまわりで1次の項までテイラー展開すると、
\begin{align}
Y= f(X) \approx f(\mu_X) + (X-\mu_X)f'(\mu_X)
\end{align}
Y= f(X) \approx f(\mu_X) + (X-\mu_X)f'(\mu_X)
\end{align}
となる。この分散を取ると、
\begin{align}
V(Y)= V(f(X)) & \approx V[f(\mu_X) + (X-\mu_X)f'(\mu_X)]\\
&= f'(\mu_X)^2 \sigma_X^2
\end{align}
V(Y)= V(f(X)) & \approx V[f(\mu_X) + (X-\mu_X)f'(\mu_X)]\\
&= f'(\mu_X)^2 \sigma_X^2
\end{align}
デルタ法による期待値の近似
確率変数$X$に対して変換された確率変数$Y=f(X)$の期待値を考える。
$E(X)=\mu_X , V(X) = \sigma_X^2$とする。
$f(X)$を$\mu_X$のまわりで1次の項までテイラー展開すると、
\begin{align}
Y= f(X) \approx f(\mu_X) + (X-\mu_X)f'(\mu_X)
\end{align}
Y= f(X) \approx f(\mu_X) + (X-\mu_X)f'(\mu_X)
\end{align}
となる。この期待値を取ると、
\begin{align}
E(Y)= E(f(X)) & \approx E[f(\mu_X) + (X-\mu_X)f'(\mu_X)]\\
&= f(\mu_X)
\end{align}
E(Y)= E(f(X)) & \approx E[f(\mu_X) + (X-\mu_X)f'(\mu_X)]\\
&= f(\mu_X)
\end{align}
期待値の場合は上記のように1次の項が消えてしまい近似が悪くなるので、2次の項までテイラー展開し、
\begin{align}
Y&= f(X)\\
& \approx f(\mu_X) + (X-\mu_X)f'(\mu_X) + \frac{1}{2}(X-\mu_X)^2 f”(\mu_X)
\end{align}
Y&= f(X)\\
& \approx f(\mu_X) + (X-\mu_X)f'(\mu_X) + \frac{1}{2}(X-\mu_X)^2 f”(\mu_X)
\end{align}
この期待値を取って、
\begin{align}
E(Y)&= E(f(X))\\
& \approx E[f(\mu_X) + (X-\mu_X)f'(\mu_X) + \frac{1}{2}(X-\mu_X)^2 f”(\mu_X)]\\
&= f(\mu_X) + \frac{1}{2}\sigma_X^2f”(\mu_X)
\end{align}
E(Y)&= E(f(X))\\
& \approx E[f(\mu_X) + (X-\mu_X)f'(\mu_X) + \frac{1}{2}(X-\mu_X)^2 f”(\mu_X)]\\
&= f(\mu_X) + \frac{1}{2}\sigma_X^2f”(\mu_X)
\end{align}
とするのがよい。
練習問題
問題
$X$を期待値$\mu$,分散$\sigma^2$の確率分布に従う確率変数とする。
(1)$\sqrt{X}$の期待値と分散をデルタ法により求めよ。
(2)$X^2$の期待値と分散をデルタ法により求めよ。
(3)$\log X$の期待値と分散をデルタ法により求めよ。
解答
(1)$f(x) = \sqrt{x}$とすると、1階・2階微分$f’ , f”$は、
\begin{align}
f'(x) &= \frac{1}{2}x^{-\frac{1}{2}}\\
f”(x) &= -\frac{1}{4}x^{-\frac{3}{2}}
\end{align}
f'(x) &= \frac{1}{2}x^{-\frac{1}{2}}\\
f”(x) &= -\frac{1}{4}x^{-\frac{3}{2}}
\end{align}
となる、従って、$\sqrt{X}$の期待値と分散はデルタ法により、
\begin{align}
E(\sqrt{W}) &\approx f(\mu) + \frac{1}{2}\sigma^2 f”(\mu)\\
&= \sqrt{\mu} – \frac{1}{8}\sigma^2 \mu^{-\frac{3}{2}}\\
V(\sqrt{W}) &\approx f'(\mu)^2\sigma^2\\
&=\frac{1}{4}\sigma^2 \mu^{-1}
\end{align}
E(\sqrt{W}) &\approx f(\mu) + \frac{1}{2}\sigma^2 f”(\mu)\\
&= \sqrt{\mu} – \frac{1}{8}\sigma^2 \mu^{-\frac{3}{2}}\\
V(\sqrt{W}) &\approx f'(\mu)^2\sigma^2\\
&=\frac{1}{4}\sigma^2 \mu^{-1}
\end{align}
(2)$f(x) = x^2$とすると、1階・2階微分$f’ , f”$は、
\begin{align}
f'(x) &= 2x\\
f”(x) &= 2
\end{align}
f'(x) &= 2x\\
f”(x) &= 2
\end{align}
となる、従って、$X^2$の期待値と分散はデルタ法により、
\begin{align}
E(X^2) &\approx f(\mu) + \frac{1}{2}\sigma^2 f”(\mu)\\
&= \mu^2 + \sigma^2\\
V(X^2) &\approx f'(\mu)^2\sigma^2\\
&=4\mu^2 \sigma^2
\end{align}
E(X^2) &\approx f(\mu) + \frac{1}{2}\sigma^2 f”(\mu)\\
&= \mu^2 + \sigma^2\\
V(X^2) &\approx f'(\mu)^2\sigma^2\\
&=4\mu^2 \sigma^2
\end{align}
$E(X^2)$の形は分散を求める際に使うお馴染みのものですね。
(3)$f(x) = \log x$とすると、1階・2階微分$f’ , f”$は、
\begin{align}
f'(x) &= x^{-1}\\
f”(x) &= -x^{-2}
\end{align}
f'(x) &= x^{-1}\\
f”(x) &= -x^{-2}
\end{align}
となる、従って、$\log X$の期待値と分散はデルタ法により、
\begin{align}
E(\log X) &\approx f(\mu) + \frac{1}{2}\sigma^2 f”(\mu)\\
&= \log \mu – \frac{1}{2}\sigma^2 \mu^{-2}\\
V(\log X) &\approx f'(\mu)^2\sigma^2\\
&=\mu^{-2} \sigma^2
\end{align}
E(\log X) &\approx f(\mu) + \frac{1}{2}\sigma^2 f”(\mu)\\
&= \log \mu – \frac{1}{2}\sigma^2 \mu^{-2}\\
V(\log X) &\approx f'(\mu)^2\sigma^2\\
&=\mu^{-2} \sigma^2
\end{align}