分散 | My Interests

数理統計：連続一様分布の性質

jun — Sat, 03 Nov 2018 07:08:24 +0000

$\newcommand{\lnl}{\\[8pt]}$ $\newcommand{\Lnl}{\\[18pt]}$ $\newcommand{\delt}{\mathrm{d}}$ $\newcommand{\comb}{\mathrm{C}}$ $\DeclareMathOperator*{\ssum}{\Sigma}$ $\DeclareMathOperator*{\sprod}{\Pi}$

イントロ

代表的な分布の性質を解説します。
今回は連続一様分布です。

定義

連続一様分布は2つのパラメータ$a,b$をとり、区間$(a,b)$で確率密度関数が一定値を取るような分布です。
この連続一様分布を$U(a,b)$と書いたりします。
確率密度関数は、$X \sim U(a,b)$として、

\begin{align}
f_X(x) = \begin{cases} \cfrac{1}{b-a} & (a < x < b) \lnl 0&(\text{その他}) \end{cases} \end{align}

と表されます。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \int_a^b x\cdot \cfrac{1}{b-a} \delt x\lnl
&=\frac{1}{b-a}\left[\frac{1}{2}x^2\right]_a^b\lnl
&=\frac{a+b}{2}
\end{align}

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。

\begin{align}
E(X^2) &= \int_a^b x^2\cdot \cfrac{1}{b-a} \delt x\lnl
&=\frac{1}{b-a}\left[\frac{1}{3}x^3\right]_a^b\lnl
&=\frac{a^2+b^2+ab}{3}
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\lnl
&= \cfrac{a^2+b^2+ab}{3} – \left(\cfrac{a+b}{2}\right)^2\lnl
&= \cfrac{(b-a)^2}{12}
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \lnl
&= \int_a^b e^{tx}\cdot \cfrac{1}{b-a} \delt x\lnl
&=\cfrac{1}{b-a}\left[\frac{e^{tx}}{t}\right]_a^b\lnl
&=\cfrac{e^{tb}-e^{ta}}{t(b-a)}
\end{align}

積率母関数を使って期待値と分散を求めます。
普通にやると、不定形となり極値が求められないのでロピタルの定理を使います。
ロピタルの定理を使うと諸条件が満たされている場合に、$\displaystyle \lim_{x\to +0}f(x) = \lim_{x\to +0}g(x) = 0$の場合に、$\displaystyle \lim_{x\to +0}\frac{f(x)}{g(x)} = \lim_{x\to +0}\frac{f'(x)}{g'(x)}$となることを示せます。
詳細は省きますが、今回は諸条件が満たされていると考えることができます。

計算の見通しを良くするために、$g_n(t) = b^ne^{bt} – a^ne^{at}$と置きます。$g_n'(t) = b^{n+1}e^{bt} – a^{n+1}e^{at} = g_{n+1}(t)$であることを用いて、

\begin{align}
E(X) &=M_X'(0) \\
&=\left. \left(\cfrac{g_0(t)}{t(b-a)}\right)’ \right|_{t=0}\lnl
&= \left. \cfrac{g_{1}(t)\cdot t(b-a) – g_0(t)\cdot (b-a)}{t^2(b-a)^2} \right|_{t=0}\lnl
&= \left. \cfrac{g_{1}(t)}{t(b-a)} – \frac{g_0(t)}{t^2(b-a)} \right|_{t=0}\lnl
&=\lim_{t\to +0}\left(\cfrac{g_{1}(t)}{t(b-a)} – \frac{g_0(t)}{t^2(b-a)}\right)\lnl
&=\lim_{t\to +0}\left(\cfrac{g_{2}(t)}{b-a} – \frac{g_1(t)}{2t(b-a)}\right)\lnl
&=\lim_{t\to +0}\left(\cfrac{g_{2}(t)}{b-a} – \frac{g_2(t)}{2(b-a)}\right)\lnl
&=\cfrac{b^2-a^2}{b-a} – \cfrac{b^2-a^2}{2(b-a)}\lnl
&=\frac{a+b}{2}\Lnl
E(X^2) &= M_X”(0)\lnl
&= \left. \cfrac{g_2(t)}{t(b-a)} – 2\cdot \cfrac{g_1(t)}{t^2(b-a)} + 2\cdot \cfrac{g_0(t)}{t^3(b-a)} \right|_{t=0}\lnl
&=\lim_{t\to +0}\left( \cfrac{g_2(t)}{t(b-a)} – 2\cdot \cfrac{g_1(t)}{t^2(b-a)} + 2\cdot \cfrac{g_0(t)}{t^3(b-a)} \right)\lnl
&=\lim_{t\to +0}\left( \cfrac{g_3(t)}{b-a} – 2\cdot \cfrac{g_2(t)}{2t(b-a)} + 2\cdot \cfrac{g_1(t)}{3t^2(b-a)} \right)\lnl
&=\lim_{t\to +0}\left( \cfrac{g_3(t)}{b-a} – 2\cdot \cfrac{g_3(t)}{2(b-a)} + 2\cdot \cfrac{g_2(t)}{6t(b-a)} \right)\lnl
&=\lim_{t\to +0}\left( \cfrac{g_3(t)}{b-a} – 2\cdot \cfrac{g_3(t)}{2(b-a)} + 2\cdot \cfrac{g_3(t)}{6(b-a)} \right)\lnl
&=\cfrac{b^3-a^3}{b-a}\left(1 – 1 + \frac{1}{3}\right)\lnl
&=\frac{b^2+a^2+ab}{3}
\end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\frac{(b-a)^2}{12}$です。

The post 数理統計：連続一様分布の性質 first appeared on My Interests.

数理統計：指数分布の性質

jun — Fri, 02 Nov 2018 17:15:17 +0000

イントロ

代表的な分布の性質を解説します。
今回は指数分布です。

定義

指数分布はパラメータ$\beta$をとります。
この指数分布を$Ex(\beta)$と書いたりします。
確率密度関数は、$X \sim Ex(\beta)$として、

\begin{align}
f_X(x) = \begin{cases}\beta e^{-\beta x}& x >0\\
0&x \le 0
\end{cases}
\end{align}

と表されます。
形からわかるように、ガンマ分布$Ga(\alpha,\beta)$の$\alpha=1$の場合と考えることができます。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \int_0^\infty x\cdot \beta e^{-\beta x} \mathrm{d}x\\
&= \int_0^\infty e^{-\beta x} \mathrm{d}x – \Bigl[xe^{-\beta x}\Bigr]_0^\infty\\
&=\left[-\frac{1}{\beta}e^{-\beta x}\right]_0^\infty\\
&= \cfrac{1}{\beta}
\end{align}

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。

\begin{align}
E(X^2) &= \int_0^\infty x^2 \cdot \beta e^{-\beta x} \mathrm{d}x\\
&= 2 \int_0^\infty x\cdot e^{-\beta x} \mathrm{d}x – \Bigl[x^2 e^{-\beta x}\Bigr]_0^\infty\\
&= \cfrac{2}{\beta^2}
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= \cfrac{2}{\beta^2} – \left(\cfrac{1}{\beta}\right)^2\\
&= \frac{1}{\beta^2}
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \\
&= \int_0^\infty e^{tX}\cdot \beta e^{-\beta x}\mathrm{d}x\\
&= \int_0^\infty \beta \exp\bigl((t-\beta)x\bigr) \mathrm{d}x\\
&=\left[\frac{\beta}{t-\beta} \exp\bigl((t-\beta)x\bigr)\right]_0^\infty\\
&= \frac{\beta}{\beta-t}
\end{align}

ただし、$\beta-t>0$の場合に限る。

積率母関数を使って期待値と分散を求めると、

\begin{align}
M_X'(t) &= \frac{\beta}{(\beta-t)^2} \\
&= M_X(t)\cdot \frac{1}{\beta-t}\\
M_X”(t) &= M_X'(t) \cdot \frac{1}{\beta-t} + M_X(t) \cdot \frac{1}{(\beta-t)^2}
\end{align}

であることと、$M_X(0) = 1$であるから、

\begin{align}
E(X) &= M_X'(0) = \cfrac{1}{\beta}\\
E\left(X^2\right) &= M_X”(0) = \cfrac{2}{\beta^2}
\end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\frac{1}{\beta^2}$です。

The post 数理統計：指数分布の性質 first appeared on My Interests.

数理統計：ガンマ分布の性質

jun — Fri, 02 Nov 2018 15:42:37 +0000

イントロ

代表的な分布の性質を解説します。
今回はガンマ分布です。

定義

ガンマ分布は2つのパラメータ$\alpha,\beta$をとります。
このガンマ分布を$Ga(\alpha,\beta)$と書いたりします。
確率密度関数は、$X \sim Ga(\alpha,\beta)$として、

\begin{align}
f_X(x) = \begin{cases}\cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x}& x >0\\
0&x \le 0
\end{cases}
\end{align}

と表されます。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \int_0^\infty x\cdot \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x} \mathrm{d}x\\
&= \int_0^\infty \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha}e^{-\beta x} \mathrm{d}x\\
&= \cfrac{\alpha}{\beta} \underline{ \int_0^\infty \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x} \mathrm{d}x} – \left[\frac{\beta^{\alpha-1}}{\Gamma(\alpha)}x^\alpha e^{-\beta x}\right]_0^\infty\\
&= \cfrac{\alpha}{\beta}
\end{align}

最後の式の変形は、下線部が$Ga(\alpha,\beta)$のガンマ分布の全確率$1$となることを利用しました。

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。

\begin{align}
E\left(X^2\right) &= \int_0^\infty x^2\cdot \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x} \mathrm{d}x\\
&= \int_0^\infty \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha+1}e^{-\beta x} \mathrm{d}x\\
&= \cfrac{\alpha+1}{\beta} \int_0^\infty \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha}e^{-\beta x} \mathrm{d}x – \left[\frac{\beta^{\alpha-1}}{\Gamma(\alpha)}x^{\alpha+1} e^{-\beta x}\right]_0^\infty\\
&=\cfrac{\alpha+1}{\beta}\cdot \cfrac{\alpha}{\beta}
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= \cfrac{\alpha+1}{\beta}\cdot \cfrac{\alpha}{\beta} – \left(\cfrac{\alpha}{\beta}\right)^2\\
&= \frac{\alpha}{\beta^2}
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \\
&= \int_0^\infty e^{tX}\cdot \cfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x}\mathrm{d}x\\
&= \frac{\beta^\alpha}{(\beta-t)^\alpha} \underline{\int_0^\infty \cfrac{(\beta-t)^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-(\beta -t)x} \mathrm{d}x}\\
&= \left(\frac{\beta}{\beta-t}\right)^\alpha
\end{align}

ただし、$\beta-t>0$の場合に限る。
最後の変形は、下線部が$Ga(\alpha,\beta-t)$の全確率1となることを利用しました。

積率母関数を使って期待値と分散を求めると、

\begin{align}
M_X'(t) &= \alpha\cdot \left(\frac{\beta}{\beta-t}\right)^{\alpha-1}\cdot \frac{\beta}{(\beta-t)^2} \\
&= M_X(t)\cdot \frac{\alpha}{\beta-t}\\
M_X”(t) &= M_X'(t) \cdot \frac{\alpha}{\beta-t} + M_X(t) \cdot \frac{\alpha }{(\beta-t)^2}
\end{align}

であることと、$M_X(0) = 1$であるから、

\begin{align}
E(X) &= M_X'(0) = \cfrac{\alpha}{\beta}\\
E\left(X^2\right) &= M_X”(0) = \cfrac{\alpha^2}{\beta^2} + \frac{\alpha}{\beta^2}
\end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\frac{\alpha}{\beta^2}$です。

The post 数理統計：ガンマ分布の性質 first appeared on My Interests.

数理統計：正規分布の性質

jun — Thu, 01 Nov 2018 14:45:59 +0000

イントロ

代表的な分布の性質を解説します。
今回は正規分布です。

定義

正規分布は2つのパラメータ$\mu,\sigma^2$をとります。
この正規分布を$N(\mu,\sigma^2)$と書いたりします。
確率密度関数は、$X \sim N(\mu,\sigma^2)$として、

\begin{align}
f_X(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)
\end{align}

と表されます。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \int_{-\infty}^{\infty} x\cdot \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \mathrm{d}x\\
&(\text{Put } t \text{ as } x-\mu)\\
&=\int_{-\infty}^{\infty} \frac{t + \mu}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t\\
&=\int_{-\infty}^{\infty} \frac{t + \mu}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t\\
&=\left[-\frac{\sigma}{\sqrt{2\pi}}\exp\left(-\frac{t^2}{2\sigma^2}\right)\right]_{-\infty}^{\infty}\\
&\qquad + \mu \underline{\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t}\\
&=\mu
\end{align}

最後の式の変形は、下線部が$N(0,\sigma^2)$の二項分布の全確率$1$となることを利用しました。

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。

\begin{align}
E(X^2) &= \int_{-\infty}^{\infty} x^2\cdot \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \mathrm{d}x\\
&(\text{Put } t \text{ as } x-\mu)\\
&=\int_{-\infty}^{\infty} \frac{(t + \mu)^2}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t\\
&=\int_{-\infty}^{\infty} \frac{t^2 + 2\mu t + \mu^2}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t\\
\end{align}

この式を3つに分けて計算します。

\begin{align}
\int_{-\infty}^{\infty}& \frac{t^2}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t\\
&=\frac{\sigma}{\sqrt{2\pi}}\left\{\int_{-\infty}^{\infty}\exp\left(-\frac{t^2}{2\sigma^2}\right)\mathrm{d}t-\left[t\exp\left(-\frac{t^2}{2\sigma^2}\right)\right]_{-\infty}^{\infty}\right\}\\
&=\frac{\sigma}{\sqrt{2\pi}}\int_{-\infty}^{\infty}\exp\left(-\frac{t^2}{2\sigma^2}\right)\mathrm{d}t\\
&=\sigma^2
\end{align}

最後の積分計算はガウス積分$\int_{-\infty}^{\infty} \exp(-ax^2)\mathrm{d}x = \sqrt{\frac{\pi}{a}}$を利用しました。

下記2つの式は、$E(X)$の途中に出てきた式に帰着できるので途中計算は略します。

\begin{align}
\int_{-\infty}^{\infty} \frac{2\mu t}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t &= 0\\
\int_{-\infty}^{\infty} \frac{\mu^2}{\sqrt{2\pi}\sigma}\exp\left(-\frac{t^2}{2\sigma^2}\right) \mathrm{d}t &= \mu^2\\
\end{align}

従って、$E(X^2) = \sigma^2 + \mu^2$となります。

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= \sigma^2 + \mu^2 – \mu^2\\
&= \sigma^2
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \\
&= \int_{-\infty}^{\infty} e^{tx}\cdot \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)\\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2} + tx\right)\\
&= \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-(\mu+\sigma^2t))^2}{2\sigma^2} + \mu t + \frac{\sigma^2t^2}{2}\right)\\
&= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\underline{\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x-(\mu+\sigma^2t))^2}{2\sigma^2}\right)}\\
&= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)
\end{align}

最後の変形は、下線部が$N(\mu+\sigma^2t,\sigma^2)$の全確率1に等しいことを利用しました。

積率母関数を使って期待値と分散を求めると、$M_X(0)= 1$であることと、

\begin{align}
M_X'(t) &= \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)\cdot(\mu + \sigma^2 t)\\
&=M_X(t) \cdot (\mu + \sigma^2 t)\\
M_X”(t) &= M_X'(t)\cdot(\mu + \sigma^2 t) + M_X(t)\cdot \sigma^2
\end{align}

を用いると、

\begin{align}
E(X) &= M_X'(0) = \mu\\
E(X^2) &= M_X”(0) = \mu^2 + \sigma^2 \\
\end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\sigma^2$です。

The post 数理統計：正規分布の性質 first appeared on My Interests.

数理統計：負の二項分布の性質

jun — Wed, 31 Oct 2018 15:08:33 +0000

イントロ

代表的な分布の性質を解説します。
今回は負の二項分布です。

定義

負の二項分布は2つのパラメータ$r,p$をとり、確率$p$でアタリ、確率$1-p$でハズレとなるくじが$r$回当たるまでに、$k$回ハズレとなる確率を求めるのに利用します。
この負の二項分布を$NB(r,p)$と書いたりします。
確率関数は、$X \sim NB(r,p)$として、

\begin{align}
P(X=k) = \begin{cases} \binom{r+k-1}{k} p^r (1-p)^{k} & (k=0,1,\cdots) \\
0&(\text{others})
\end{cases}
\end{align}

と表されます。
以下、$q=1-p$として表記します。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \sum_{k=0}^n k \times P(X=k)\\
&=\sum_{k=0}^\infty k \times \binom{r+k-1}{k}p^r q^k&&\\
&=\sum_{k=1}^\infty k \times \cfrac{(r+k-1)!}{k!(r-1)!}p^r q^k&&\\
&=\sum_{k=1}^\infty \cfrac{(r+k-1)!}{(k-1)!r!}p^{r+1} q^{k-1} \cdot \frac{rq}{p}&&\\
&(\text{Put } t \text{ as } k-1)\\
&=\frac{rq}{p}\cdot\underline{ \sum_{t=0}^\infty \cfrac{((r+1)+t-1)!}{t!((r+1)-1)!}p^{r+1} q^{t}}&&\\
&=\frac{rq}{p}
\end{align}

最後の式の変形は、下線部が$NB(r+1,p)$の二項分布の全確率$1$となることを利用しました。

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。
$Y$を$NB(r+1,p)$に従う確率変数とします。

\begin{align}
E(X^2) &= \sum_{k=0}^n k^2 \times P(X=k)\\
&(\text{Put } t \text{ as } k-1)\\
&=\frac{rq}{p}\cdot \sum_{t=0}^\infty (t+1)\cdot\cfrac{((r+1)+t-1)!}{t!((r+1)-1)!}p^{r+1} q^{t}&&\\
&=\frac{rq}{p}\left(E(Y)+1\right)\\
&=\frac{rq}{p}\left(\frac{(r+1)q}{p}+1\right)\\
&=\frac{rq(rq+1)}{p^2}
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= \frac{rq(rq+1)}{p^2} – \left(\frac{rq}{p}\right)^2\\
&= \frac{rq}{p^2}
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \\
&= \sum_{k=0}^\infty e^{tk} \binom{r+k-1}{k}p^r q^k\\
&= \left(\frac{p}{1-e^tq}\right)^r \underline{\sum_{k=0}^\infty \binom{r+k-1}{k} (1-e^tq)^r(e^tq)^k}\\
&= \left(\frac{p}{1-e^tq}\right)^r
\end{align}

ただし、$e^tq < 1$の場合とします。最後の変形は、下線部が$NB(r,1-e^tq)$の全確率1となることを利用しました。積率母関数を使って期待値と分散を求めると、

\begin{align} E(X) &= M_X'(0)\\ &=\left.r\left(\frac{p}{1-e^tq}\right)^{r-1} \frac{e^tpq}{(1-e^tq)^2} \right|_{t=0}\\ &=\left.rM_X(t) \cdot \frac{e^tq}{1-e^tq} \right|_{t=0}\\ &=\frac{rq}{p}\\ E(X^2) &= M_X''(0)\\ &=\left.rM_X'(t) \cdot \frac{e^tq}{1-e^tq} \right|_{t=0} \\ &\qquad +\left. rM_X(t)\cdot \frac{e^tq(1-e^tq)+(e^tq)^2}{(1-e^tq)^2} \right|_{t=0}\\ &=\left(\frac{rq}{p}\right)^2 + \frac{rq}{p^2} \end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\frac{rq}{p^2}$です。

The post 数理統計：負の二項分布の性質 first appeared on My Interests.

数理統計：幾何分布の性質

jun — Sun, 28 Oct 2018 16:57:03 +0000

イントロ

代表的な分布の性質を解説します。
今回は幾何分布です。

定義

幾何分布は1つのパラメータ$p$をとり、確率$p$で当たるくじを連続してひいて、初めて当たりがでるまでの回数に関する確率を求めるのに利用します。
この幾何分布を$G(p)$と書いたりします。
確率関数は、$X \sim G(p)$として、

\begin{align}
P(X=k) = \begin{cases}p(1-p)^{k-1} & (k=1,2,\cdots) \\
0&(\text{others})
\end{cases}
\end{align}

と表されます。
なお、場合によっては「初めて当たりがでる回数」ではなく「初めて当たりが出た時の累積失敗回数」を$k$と置くことがあります。
この場合、上記の$k$より1少ない値となります。

期待値

定義通りに計算します。
途中でベキ級数の項別微分の定理を用います。

\begin{align}
E(X) &= \sum_{k=1}^\infty k \times P(X=k)\\
&=\sum_{k=1}^\infty k \times p(1-p)^{k-1}\\
&=p \sum_{k=0}^\infty k \times (1-p)^{k-1} \\
&=p \sum_{k=0}^\infty \left(-\frac{\mathrm{d}}{\mathrm{d}p} (1-p)^k\right)\\
&=p \left(-\frac{\mathrm{d}}{\mathrm{d}p}\sum_{k=0}^\infty (1-p)^k\right)\\
&=p \left(-\frac{\mathrm{d}}{\mathrm{d}p}p^{-1}\right)\\
&=p\times \frac{1}{p^2}\\
&=\frac{1}{p}
\end{align}

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算しますが、一見トリッキーです。
まず、下記を計算します。

\begin{align}
\sum_{k=0}^\infty k(k-1)(1-p)^{k-2} &= \sum_{k=0}^\infty \frac{\mathrm{d}^2}{\mathrm{d}p^2} (1-p)^k\\
&=\frac{\mathrm{d}^2}{\mathrm{d}p^2}\sum_{k=0}^\infty (1-p)^k\\
&=\frac{\mathrm{d}^2}{\mathrm{d}p^2} p^{-1}\\
&=2p^{-3}
\end{align}

これを使うと、

\begin{align}
E(X(X-1)) &= \sum_{k=1}^\infty k(k-1) \times p(1-p)^{k-1}\\
&=p(1-p) \times \sum_{k=0}^\infty k(k-1)(1-p)^{k-2} \\
&=p(1-p) \times 2p^{-3}\\
&=2\frac{1-p}{p^2}\\
&=E(X^2) – E(X)
\end{align}

となるので、

\begin{align}
E(X^2) &= E(X(X-1)) + E(X)\\
&=2\frac{1-p}{p^2} + \frac{1}{p}\\
&=\frac{2-p}{p^2}
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= \frac{2-p}{p^2} – \frac{1}{p^2}\\
&= \frac{1-p}{p^2}
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E(e^{tX}) \\
&= \sum_{k=1}^\infty e^{tk}\cdot p (1-p)^{k-1}\\
&= p e^t \sum_{k=1}^\infty e^{-t} e^{tk} (1-p)^{k-1}\\
&= p e^t \sum_{k=1}^\infty (e^{t})^{k-1} (1-p)^{k-1}\\
&= p e^t \sum_{k=1}^\infty (e^{t}(1-p))^{k-1}\\
&= \frac{p e^t}{1-e^t(1-p)}
\end{align}

ただし、最後の変形は$|e^t(1-p)|<1$の場合に限ります。積率母関数を使って期待値と分散を求めます。普通にやると複雑な式になるので、$M_X(t)$の微分を$M_X(t)$に帰着させてうまく計算量を減らします。

\begin{align} M_X'(t) &= \frac{pe^t}{1-e^t(1-p)} + \frac{1-p}{p}\left(\frac{pe^t}{1-e^t(1-p)}\right)^2\\ &=M_X(t) + \frac{1-p}{p}M_X(t)^2\\ M_X''(t) &= M_X'(t) + \frac{1-p}{p} 2\cdot M_X(t)\cdot M'(t) \end{align}

これを使うと、$M_X(0)=1$なので、

\begin{align} E(X) &= M_X'(0)\\ &=M_X(0) + \frac{1-p}{p}M_X(0)^2 \\ &=1+\frac{1-p}{p}\\ &=\frac{1}{p}\\ E(X^2) &= M_X''(0)\\ &=M_X'(0) + \frac{1-p}{p} 2\cdot M_X(0)\cdot M'(0)\\ &=\frac{1}{p} + 2\frac{1-p}{p}\cdot \frac{1}{p}\\ &=\frac{2-p}{p^2} \end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\frac{2-p}{p^2}$となります。

The post 数理統計：幾何分布の性質 first appeared on My Interests.

数理統計：超幾何分布の性質

jun — Sun, 28 Oct 2018 16:08:25 +0000

イントロ

代表的な分布の性質を解説します。
今回は超幾何分布です。

定義

超幾何分布は3つのパラメータ$N,M,n$をとり、全部で$N$個のくじのうち、アタリが$M$個、ハズレが$N-M$個ある場合に、$n$個のくじを引いた中にあるアタリのくじの個数の確率を求めるのに利用します。
この超幾何分布を$HG(N,M,n)$と書いたりします。
確率関数は、$X \sim HG(N,M,n)$として、

\begin{align}
P(X=k) = \begin{cases}\cfrac{ \displaystyle \binom{M}{k} \binom{N-M}{n-k}}{ \displaystyle \binom{N}{n}} & (k=0,1,\cdots,n) \\
0&(\text{others})
\end{cases}
\end{align}

と表されます。

期待値

定義通りに計算します。
途中で$\binom{a}{b} = \frac{a}{b}\binom{a-1}{b-1}$を用います。

\begin{align}
&E(X) \\
&= \sum_{k=0}^n k \times P(X=k)\\
&=\sum_{k=0}^n k \times \binom{M}{k} \binom{N-M}{n-k}\bigg/ \binom{N}{n}\\
&=\sum_{k=0}^n k \times \frac{M}{k}\binom{M-1}{k-1} \binom{N-M}{n-k} \bigg/ \frac{N}{n}\binom{N-1}{n-1}\\
&=n\frac{M}{N}\sum_{k=1}^n \binom{M-1}{k-1} \binom{N-M}{n-k} \bigg/ \binom{N-1}{n-1}\\
&=n\frac{M}{N} \sum_{k=1}^n \binom{M-1}{k-1} \binom{(N-1)-(M-1)}{(n-1)-(k-1)} \bigg/\binom{N-1}{n-1}\\
&(\text{Put } t \text{ as } k-1)\\
&=n\frac{M}{N} \underline{\sum_{t=0}^{n-1} \binom{M-1}{t} \binom{(N-1)-(M-1)}{(n-1)-t} \bigg/ \binom{N-1}{n-1}}\\
&= n\frac{M}{N}
\end{align}

最後の式の変形は、下線部が$HG(N-1,M-1,n-1)$の超幾何分布の全確率$1$となることを利用しました。

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。
先ほど出てきた$HG(N-1,M-1,n-1)$に従う確率変数を$Y$とします。

\begin{align}
&E(X^2) \\
&= \sum_{k=0}^n k^2 \times P(X=k)\\
&=\sum_{k=0}^n k^2 \times \binom{M}{k} \binom{N-M}{n-k} \bigg/ \binom{N}{n}\\
&=\sum_{k=0}^n k^2 \times \frac{M}{k}\binom{M-1}{k-1} \binom{N-M}{n-k} \bigg/ \frac{N}{n}\binom{N-1}{n-1}\\
&=n\frac{M}{N}\sum_{k=1}^n k\times\binom{M-1}{k-1} \binom{N-M}{n-k}\bigg/ \binom{N-1}{n-1}\\
&=n\frac{M}{N} \sum_{k=1}^n k\times\binom{M-1}{k-1} \binom{(N-1)-(M-1)}{(n-1)-(k-1)}\bigg/ \binom{N-1}{n-1}\\
&(\text{Put } t \text{ as } k-1)\\
&=n\frac{M}{N} \sum_{t=0}^{n-1} (t+1)\binom{M-1}{t} \binom{(N-1)-(M-1)}{(n-1)-t}\bigg/ \binom{N-1}{n-1}\\
&= n\frac{M}{N} (E(Y) + 1)\\
&= n\frac{M}{N} \left((n-1)\frac{M-1}{N-1} + 1\right)
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= n\frac{M}{N} \left((n-1)\frac{M-1}{N-1} + 1\right) – n^2\frac{M^2}{N^2}\\
&= n\frac{M}{N}\frac{N-M}{N}\frac{N-n}{N-1}
\end{align}

積率母関数

積率母関数は簡単な形では求められないようです。

The post 数理統計：超幾何分布の性質 first appeared on My Interests.

数理統計：離散一様分布の性質

jun — Sun, 28 Oct 2018 13:38:01 +0000

イントロ

代表的な分布の性質を解説します。
今回は離散一様分布です。

定義

離散一様分布は1つのパラメータ$N$をとり、N個の値それぞれが等しい確率で現れるような事象を表すのに利用されます。
この離散一様分布を$DU(N)$と書いたりします。
ここでは、確率変数が取りうる値の最小値を$1$,最大値を$N$とした離散一様分布を扱いますが、最小値$a$,最大値$a+N-1$とする場合もあります。
確率関数は、$X \sim DU(N)$として、

\begin{align}
P(X=k) = \begin{cases} \cfrac{1}{N} & (k=1,2,\cdots,N) \\
0&(\text{others})
\end{cases}
\end{align}

と表されます。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \sum_{k=1}^N k \times P(X=k)\\
&=\sum_{k=1}^N k \times \cfrac{1}{N}&&\\
&=\cfrac{1}{N}\cfrac{N(N+1)}{2}\\
&=\cfrac{N+1}{2}
\end{align}

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。

\begin{align}
E(X^2) &= \sum_{k=1}^N k^2 \times P(X=k)\\
&=\sum_{k=1}^N k^2 \times \cfrac{1}{N}&&\\
&=\cfrac{1}{N}\cfrac{N(N+1)(2N+1)}{6}\\
&=\cfrac{(N+1)(2N+1)}{6}
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= \cfrac{(N+1)(2N+1)}{6} – \left(\cfrac{N+1}{2}\right)^2\\
&= \cfrac{N^2-1}{12}
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \\
&= \sum_{k=1}^N e^{tk} \frac{1}{N}\\
&= \cfrac{1}{N} \sum_{k=1}^N e^{tk}
\end{align}

積率母関数を使って期待値と分散を求めると、

\begin{align}
E(X) &= M_X'(0)\\
&=\cfrac{1}{N}\sum_{k=1}^N k\cdot e^{tk} |_{t=0}\\
&=\cfrac{1}{N}\sum_{k=1}^N k\\
&=\cfrac{N+1}{2}\\
E(X^2) &= M_X”(0)\\
&=\cfrac{1}{N}\sum_{k=1}^N k^2\cdot e^{tk} |_{t=0}\\
&=\cfrac{1}{N}\sum_{k=1}^N k^2\\
&=\cfrac{(N+1)(2N+1)}{6}\\
\end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\frac{N^2-1}{12}$となります。

The post 数理統計：離散一様分布の性質 first appeared on My Interests.

数理統計：ポアソン分布の性質

jun — Sun, 28 Oct 2018 13:18:08 +0000

イントロ

代表的な分布の性質を解説します。
今回はポアソン分布です。

定義

ポアソン分布は1つのパラメータ$\lambda$をとり、ある(稀な)事象が何回発生したかを求めるのに利用します。
このポアソン分布を$Po(\lambda)$と書いたりします。
確率関数は、$X \sim Po(\lambda)$として、

\begin{align}
P(X=k) = \begin{cases} \cfrac{\lambda^k}{k!}e^{-\lambda} & (k=0,1,\cdots) \\
0&(\text{others})
\end{cases}
\end{align}

と表されます。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \sum_{k=0}^\infty k \times P(X=k)\\
&=\sum_{k=0}^\infty k \times \cfrac{\lambda^k}{k!}e^{-\lambda}&&\\
&=\sum_{k=1}^\infty \cfrac{\lambda \cdot \lambda^{k-1}}{(k-1)!}e^{-\lambda}\\
&(\text{Put } t \text{ as } k-1)\\
&=\lambda \underline{\sum_{t=0}^\infty \cfrac{\lambda^{t}}{t!}e^{-\lambda}}\\
&=\lambda
\end{align}

最後の式の変形は、下線部が$Po(\lambda)$の全確率$1$となることを利用しました。

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。

\begin{align}
E(X^2) &= \sum_{k=0}^\infty k^2 \times P(X=k)\\
&=\sum_{k=0}^\infty k^2 \times \cfrac{\lambda^k}{k!}e^{-\lambda}&&\\
&=\sum_{k=1}^\infty k \times \cfrac{\lambda \cdot \lambda^{k-1}}{(k-1)!}e^{-\lambda}\\
&(\text{Put } t \text{ as } k-1)\\
&=\lambda \sum_{t=0}^\infty (t+1)\cfrac{\lambda^{t}}{t!}e^{-\lambda}\\
&=\lambda(E(X) + 1)\\
&=\lambda^2 + \lambda
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= \lambda^2 + \lambda – \lambda^2\\
&= \lambda
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \\
&= \sum_{k=0}^\infty e^{tk} \cfrac{\lambda^k}{k!}e^{-\lambda}\\
&= \underline{\sum_{k=0}^\infty \cfrac{(e^t\lambda)^k}{k!} \exp(-e^t\lambda)}\times \cfrac{\exp(-\lambda)}{\exp(-e^t\lambda)}\\
&= \cfrac{\exp(-\lambda)}{\exp(-e^t\lambda)}\\
&=\exp(\lambda(e^t-1))
\end{align}

最後から二番目の変形は、下線部が$Po(e^t\lambda)$の全確率$1$となることを利用しました。

積率母関数を使って期待値と分散を求めると、

\begin{align}
E(X) &= M_X'(0)\\
&=\exp(\lambda(e^t-1))\cdot \lambda e^t |_{t=0}\\
&=\lambda\\
E(X^2) &= M_X”(0)\\
&= \exp(\lambda(e^t-1))\cdot (\lambda e^t)^2\\
&\qquad + \exp(\lambda(e^t-1))\cdot \lambda e^t |_{t=0}\\
&=\lambda^2 + \lambda
\end{align}

となるので、$V(X)=E(X^2)-E(X)^2=\lambda$となります。

The post 数理統計：ポアソン分布の性質 first appeared on My Interests.

数理統計：二項分布の性質

jun — Sun, 28 Oct 2018 11:19:28 +0000

イントロ

代表的な分布の性質を解説します。
今回は二項分布です。

定義

二項分布は2つのパラメータ$n,p$をとり、確率$p$でアタリ、確率$1-p$でハズレとなるくじを$n$回引いた際に、$k$回当たる確率を求めるのに利用します。
この二項分布を$B(n,p)$と書いたりします。
確率関数は、$X \sim B(n,p)$として、

\begin{align}
P(X=k) = \begin{cases} _{n}C_k p^k(1-p)^{n-k} & (k=0,1,\cdots,n) \\
0&(\text{others})
\end{cases}
\end{align}

と表されます。

期待値

定義通りに計算します。

\begin{align}
E(X) &= \sum_{k=0}^n k \times P(X=k)\\
&=\sum_{k=0}^n k \times _{n}C_k p^k(1-p)^{n-k}&&\\
&=\sum_{k=1}^n \cfrac{n!}{(k-1)!(n-k)!}p^k (1-p)^{n-k}\\
&(\text{Put } t \text{ as } k-1)\\
&=np \underline{\sum_{t=0}^{n-1} \cfrac{(n-1)!}{t!((n-1)-t)!} p^t (1-p)^{(n-1)-t}}\\
&=np
\end{align}

最後の式の変形は、下線部が$B(n-1,p)$の二項分布の全確率$1$となることを利用しました。

分散

$V(X)=E(X^2) – E(X)^2$を用いて計算します。

\begin{align}
E(X^2) &= \sum_{k=0}^n k^2 \times P(X=k)\\
&=\sum_{k=0}^n k^2 \times _{n}C_k p^k(1-p)^{n-k}&&\\
&=\sum_{k=1}^n \cfrac{k\cdot n!}{(k-1)!(n-k)!}p^k (1-p)^{n-k}\\
&(\text{Put } t \text{ as } k-1)\\
&=np \sum_{t=0}^{n-1} (t+1)\cfrac{(n-1)!}{t!((n-1)-t)!} p^t (1-p)^{(n-1)-t}\\
&(\text{Put } Y \sim B(n-1,p) )\\
&=np\left(E(Y) + \sum_{t=0}^{n-1}P(Y=t)\right)\\
&=np((n-1)p + 1)\\
&=(np)^2 + np(1-p)
\end{align}

これから、

\begin{align}
V(X) &= E(X^2) – E(X)^2\\
&= (np)^2 + np(1-p) – (np)^2\\
&= np(1-p)
\end{align}

積率母関数

定義通りに計算します。

\begin{align}
M_X(t) &= E\left(e^{tX}\right) \\
&= \sum_{k=0}^n e^{tk} {}_nC_k p^k (1-p)^{n-k}\\
&= \sum_{k=0}^n {}_nC_k (pe^{t})^k (1-p)^{n-k}\\
&=(pe^t +1 – p)^n
\end{align}

最後の変形は、$(x+y)^n = \sum_{i=0}^n {}_nC_i x^i y^{n-i}$を利用しました。

積率母関数を使って期待値と分散を求めると、

\begin{align}
E(X) &= M_X'(0)\\
&=n(pe^t + 1-p)^{n-1} \cdot pe^t |_{t=0}\\
&=np\\
E(X^2) &= M_X”(0)\\
&=n(n-1)(pe^t + 1-p)^{n-2} \cdot (pe^t)^2 \\
&\qquad + n(pe^t+1-p)^{n-1}\cdot pe^t |_{t=0}\\
&=(np)^2 + np(1-p)
\end{align}

となるので、$V(X)=E(X^2)-E(X)^2=np(1-p)$となります。

The post 数理統計：二項分布の性質 first appeared on My Interests.