4.6.期待値と分散

$\newcommand{\lnl}{\\[8pt]}$ $\newcommand{\Lnl}{\\[18pt]}$ $\newcommand{\delt}{\mathrm{d}}$ $\newcommand{\comb}{\mathrm{C}}$ $\DeclareMathOperator*{\ssum}{\Sigma}$ $\DeclareMathOperator*{\sprod}{\Pi}$
ここでは確率変数に対する期待値と分散を学んでいきます.なお,すでに分散は「散らばりの尺度」のページで学びました.改めて確率変数に対してこれを計算できるようにしましょう.

また, 中央値(メジアン)と最頻値(モード)も改めて定義します.前の定義を忘れてしまった方は「代表値」のページで復習ください.

期待値

確率変数$X$に対する期待値(Expectation)$E(X)$は, その確率(密度)関数を$f_X(x)$とすると,

\begin{align}
E(X) = \begin{cases}\displaystyle \sum_{i}x_i f_X(x_i)\lnl
\displaystyle \int_{-\infty}^{\infty} xf_X(x) \delt x\end{cases}
\end{align}

と定義されます.なお, 上が離散型の場合で下が連続型の場合です.なお期待値のことを平均(mean)ともいいます.

期待値の例

サイコロの出目の期待値

サイコロを1回投げる試行を考えます. $X$をサイコロの出目を表す確率変数とすれば, $P(X=k) = \cfrac{1}{6} , k=1,2,\cdots,6$なので,

\begin{align}
E(X) = 1\cdot\frac{1}{6} + 2\cdot\frac{1}{6} + \cdots + 6\cdot\frac{1}{6} = \frac{7}{2}
\end{align}

となります.

連続一様分布の期待値

連続一様分布の確率関数は区間$(a,b)$で$\cfrac{1}{b-a}$です.(その他の区間では$0$)
よってその期待値は

\begin{align}
E(X) = \int_a^b \frac{x}{b-a} \delt x = \left[\frac{x^2}{2(b-a)}\right]_a^b = \frac{a+b}{2}
\end{align}

となります.

確率変数の変換の期待値

確率変数$X$を変換した確率変数$Y=h(X)$を考える.

このとき確率変数$Y$の期待値は,

\begin{align}
E(Y) = E(h(X)) = \begin{cases}\displaystyle \sum_{i}h(x_i) f_X(x_i)\lnl
\displaystyle \int_{-\infty}^{\infty} h(x)f_X(x) \delt x\end{cases}
\end{align}

で求められます.
期待値は存在しない場合もあります.

確率変数の変換の期待値の例

サイコロの出目の二乗の期待値

サイコロを1回投げる試行を考えます. $X$をサイコロの出目を表す確率変数とすれば,$X^2$の期待値は

\begin{align}
E(X^2) = 1^2\cdot\frac{1}{6} + 2^2\cdot\frac{1}{6} + \cdots + 6^2\cdot\frac{1}{6} = \frac{91}{6}
\end{align}

となります.

いろいろな場合の期待値の計算

定数の期待値

$a$を定数として,

\begin{align}
E(a) = a
\end{align}

が成り立ちます.確率変数ではないのに期待値があるなんて不思議に思うかもしれませんが, これは$P(X=a)=1$の確率変数$X$を簡易的に表現したものと考えます.

期待値の線形性

確率変数$X_1,X_2$の期待値が存在する場合, $a , b$を定数として次が成り立ちます.

\begin{align}
&E(aX_1 + b) = aE(X_1) + b \\
&E(aX_1 + bX_2) = aE(X_1) + bE(X_2)
\end{align}

独立な確率変数の積の期待値は期待値の積

独立な確率変数$X_1,X_2$があり,$E(X_1) , E(X_2)$が存在するとします.このとき,

\begin{align}
&E(X_1 X_2) = E(X_1)E(X_2)
\end{align}

が成り立ちます.独立ではない場合は成り立つとは限りません.

分散

確率変数$X$に対する分散(Variance)$V(X)$は, その確率(密度)関数を$f_X(x)$とすると,

\begin{align}
V(X) = E\big((X-E(X)^2\big)= \begin{cases}\displaystyle \sum_{i}[x_i – E(X)]^2 f_X(x_i)\lnl
\displaystyle \int_{-\infty}^{\infty} [x-E(X)]^2f_X(x) \delt x\end{cases}
\end{align}

と定義されます.なお, 上が離散型の場合で下が連続型の場合です.

また, $X$の標準偏差(Standard Deviation)は

\begin{align}
SD(X) = \sqrt{V(X)}
\end{align}

と定義されます.

分散の計算

分散は定義通りに計算されることは少なく, 主に$V(X) = E(X^2)-E(X)^2$で計算されます.
二乗の期待値マイナス期待値の二乗」です.
これは,

\begin{align}
E\big((X-E(X))^2\big) &= E\big(X^2-2E(X) X + E(X)^2\big) \\
&= E(X^2) – E(X)^2
\end{align}

のように導かれます.

いろいろな場合の分散の計算

定数の分散

$a$を定数として,

\begin{align}
V(a) = 0
\end{align}

が成り立ちます.期待値と同じく, $P(X=a)=1$の確率変数$X$に対して分散を求めたものと考えることができます.

線形変換した確率変数の分散

$X$を確率変数, $a,b$を定数とします. $V(X)$が存在する場合,

\begin{align}
V(aX + b) = a^2 V(X)
\end{align}

が成り立ちます.

独立な確率変数の和の分散

独立な確率変数$X_1,X_2$があり,$V(X_1) , V(X_2)$が存在するとします.また $a,b$を定数とします.このとき,

\begin{align}
V(aX_1 + bX_2) = a^2 V(X_1) + b^2 V(X_2)
\end{align}

が成り立ちます.独立ではない場合は成り立ちません.

上記から,

\begin{align}
V(X_1 – X_2) = V(X_1) {\color{red}{+}} V(X_2)
\end{align}

が成り立ちます.赤字部分の${\color{red}{+}}$に注意してください.マイナスではないです.

参考までに$X,Y$が独立ではない場合は以下の等式が成り立ちますが, $\mathrm{Cov}(X,Y)$の意味を含めて詳しくは「相関係数と共分散」で説明します.

\begin{align}
V(aX + bY+c) = a^2 V(X) + b^2 V(Y) + 2ab\mathrm{Cov}(X,Y)
\end{align}

確率変数の標準化

確率変数$X$の期待値, 分散が存在するとします.このとき$Y=\cfrac{X-E(X)}{\sqrt{V(X)}}$となる$Y$を確率変数$X$を標準化した確率変数という.言い換えると標準化とは期待値を$0$に分散を$1$にすることです.つまり

\begin{align}
E(Y) = 0 , \quad V(Y) =1
\end{align}

が成り立ちます.
標準化することで期待値,分散以外の他の性質を見たり,データが分布のどこに位置するか客観的に判断できたりするようになります.

中央値

確率変数$X$の中央値(Median)は,

\begin{align}
P(X \ge m) \ge \frac{1}{2} , P(X \le m) \ge \frac{1}{2} \label{eq-median}
\end{align}

となるような実数$m$です.これは$X$の分布関数を$F(x)$とすると,
\begin{align}
F(m-) \le \frac{1}{2} \le F(m)
\end{align}

を満たすような実数$m$です.

中央値の例

サイコロを1回投げたときの出目を表す確率変数を$X$とします.このとき$X$の中央値は,$3 \le m \le 4$なる実数$m$すべてです.なぜならば,

\begin{align}
P(X < 3) = \frac{2}{6} ,\quad P(X \le 3) = \frac{1}{2} , \quad P(X < 4)= \frac{1}{2} ,\quad P(X\le 4) = \frac{4}{6}\lnl P(X \ge 3) = \frac{4}{6} ,\quad P(X > 3) = \frac{1}{2} , \quad P(X \ge 4)= \frac{1}{2} ,\quad P(X > 4) = \frac{2}{6}
\end{align}

となるので, $\eqref{eq-median}$を満たす数は$3 \le x \le 4$とわかります.

最頻値

確率変数$X$の最頻値(Mode)は,確率関数または確率密度関数が最大になる$x$です.