ランダム標本

$\newcommand{\lnl}{\\[8pt]}$ $\newcommand{\Lnl}{\\[18pt]}$ $\newcommand{\delt}{\mathrm{d}}$ $\newcommand{\comb}{\mathrm{C}}$ $\DeclareMathOperator*{\ssum}{\Sigma}$ $\DeclareMathOperator*{\sprod}{\Pi}$

ランダム標本の定義と記法

確率変数$X_1,X_2,\cdots,X_n$が互いに独立で同一の確率分布$X$に従うとき、確率変数$X_1,X_2,\cdots,X_n$は大きさnのランダム標本(random sample of size n)、または大きさを省略して単にランダム標本という。
これを

\begin{align}
X_1,X_2,\cdots,X_n \overset{\text{i.i.d}}{\sim} X
\end{align}

と表す。
i.i.dは独立で同一の分布(independent and identically distributed)の頭文字である。
また、このとき確率分布$X$を母集団分布(population distribution)という。

スポンサーリンク

記法の補足

ベクトルを用いて、

\begin{align}
\bm{X} = (X_1,X_2,\cdots , X_n)
\end{align}

と表すことも一般的である。
また、$X_1,X_2,\cdots,X_n$からの観測値を通常、$x_1,x_2,\cdots , x_n$のように表す。
これも、ベクトル表記で
\begin{align}
\bm{x} = (x_1,x_2,\cdots , x_n)
\end{align}

と表す。

結合分布関数

大きさnのランダム標本の結合分布関数(joint distribution function)または、同時分布関数は母集団確率変数$X$の分布関数を$F_X(x)$とすると、

\begin{align}
F_X(x_1,x_2,\cdots,x_n) &=F_X(\bm{x}) \\
&= F_X(x_1)F_X(x_2)\cdots F_X(x_n) \\
&= \prod_{i=1}^n F_X(x_i)
\end{align}

となる。
また、母集団確率変数がパラメータ$\theta$を持つとき、このパラメータを強調する意味合いで、
\begin{align}
F_X(x_1,x_2,\cdots,x_n;\theta) &= F_X(\bm{x};\theta)\\
&= F_X(x_1;\theta)F_X(x_2;\theta)\cdots F_X(x_n;\theta) \\
&= \prod_{i=1}^n F_X(x_i;\theta)
\end{align}

と表記することがある。

結合確率密度関数

母集団分布が離散型の場合確率関数、連続型の場合は確率密度関数となる。以下では確率密度関数で統一するが必要に応じて読み替えてほしい。
大きさnのランダム標本の結合確率密度関数(joint probability density function)または、同時確率密度関数は母集団確率変数$X$の確率密度関数を$f_X(x)$とすると、

\begin{align}
f_X(x_1,x_2,\cdots,x_n) &=f_X(\bm{x}) \\
&= f_X(x_1)f_X(x_2)\cdots f_X(x_n) \\
&= \prod_{i=1}^n f_X(x_i)
\end{align}

となる。
また、母集団確率変数がパラメータ$\theta$を持つとき、このパラメータを強調する意味合いで、
\begin{align}
f_X(x_1,x_2,\cdots,x_n;\theta) &= f_X(\bm{x};\theta)\\
&= f_X(x_1;\theta)f_X(x_2;\theta)\cdots f_X(x_n;\theta) \\
&= \prod_{i=1}^n f_X(x_i;\theta)
\end{align}

と表記することがある。

例1.母集団分布が一様分布

一様分布$\mathrm{U}(a,b)$に従う母集団分布$X$からの大きさnのランダム標本$\bm{X}$、すなわち

\begin{align}
\bm{X} = X_1,X_2,\cdots,X_n \overset{\text{i.i.d}}{\sim} X \sim \mathrm{U}(a,b)
\end{align}

がある。$\bm{X}$の結合分布関数$F_X(\bm{x};\theta)$と結合確率密度関数$f_X(\bm{x};\theta)$を求める。
ただし、$\theta=(a,b)$である。
母集団分布の分布関数$F_X(x;\theta)$と確率密度関数$f_X(x;\theta)$はそれぞれ、
\begin{align}
F_X(x;\theta) &= \begin{cases}0&x < a\\
\cfrac{x-a}{b-a}& a \le x \le b\\
1 & b < x\end{cases}\\
f_X(x;\theta) &= \begin{cases}\cfrac{1}{b-a}&a \le x \le b\\
0 & \text{other}\end{cases}
\end{align}

であるから、結合分布関数は、
\begin{align}
F_X(\bm{x};\theta) &= F_X(x_1;\theta)F_X(x_2;\theta)\cdots F_X(x_n;\theta) \\
&= \prod_{i=1}^n F_X(x_i;\theta)\\
&= \begin{cases}\quad 0 & (\min(\bm{x}) < a)\\ \displaystyle \quad \prod_{i=1}^n \frac{x_i-a}{b-a} &(\forall i , a \le x_i \le b)\\ \displaystyle \prod_{i;a \le x_i \le b} \frac{x_i-a}{b-a} &(\min(\bm{x}) \ge a , \max(\bm{x}) > b)\\
\quad 1&(\forall i , x_i > b)
\end{cases}
\end{align}

となり、結合確率密度関数は、
\begin{align}
f_X(\bm{x};\theta) &= f_X(x_1;\theta)f_X(x_2;\theta)\cdots f_X(x_n;\theta) \\
&= \prod_{i=1}^n f_X(x_i;\theta)\\
&= \begin{cases}\displaystyle \quad \left(\frac{1}{b-a}\right)^n & (\forall i, a \le x_i \le b)\\
\quad 0&(\text{other})
\end{cases}
\end{align}

となる。
なお、$\forall i , a \le x_i \le b$を$\bm{x} \in [a,b]^n$と書くこともある。

例2.母集団分布が正規分布

正規分布$N(\mu,\sigma^2)$に従う母集団分布$X$からの大きさnのランダム標本$\bm{X}$、すなわち

\begin{align}
\bm{X} = X_1,X_2,\cdots,X_n \overset{\text{i.i.d}}{\sim} X \sim N(\mu,\sigma^2)
\end{align}

がある。$\bm{X}$の結合確率密度関数$f_X(\bm{x};\theta)$は次のようになる。
ただし、$\theta=(\mu,\sigma^2)$である。
\begin{align}
f_X(\bm{x};\theta) &= f_X(x_1;\theta)f_X(x_2;\theta)\cdots f_X(x_n;\theta) \\
&= \prod_{i=1}^n f_X(x_i;\theta)\\
&= \prod_{i=1}^n \left\{ \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x_i – \mu)^2}{2\sigma^2}\right) \right\}\\
&= \frac{1}{(2\pi\sigma^2)^{\frac{n}{2}} } \exp\left\{ – \frac{1}{2\sigma^2} \sum_{i=1}^n (x_i – \mu)^2 \right\}\\
\end{align}