統計のめも2(マルコフ、チェビシェフ、イェンゼンの不等式の証明)

参考文献

[1] Introduction to Mathematical Statistics (Seventh Edition) - Robert V. Hogg, Joseph W. McKean,Allen T. Craig
[2] 数理統計ハンドブック朝倉書店　[1]の日本語版
[3] David Chandler (1987). Introduction to Modern Statistical Mechanics. Oxford

前回

<a href="http://misos.hatenablog.com/entry/2015/02/15/204744">統計のめも1(確率密度関数,積率母関数,確率変数の変換の導入) - 雑なメモ</a>
統計のめも1(確率密度関数,積率母関数,確率変数の変換の導入) - 雑なメモ

重要な不等式の証明*1

マルコフ、チェビシェフ、イェンゼンの不等式について記述。

定理：べき乗の平均の存在についての定理

　いま確率密度（質量）関数に {f(x)} をもつ確率変数 {X} について、 {k,m>0} なる自然数に対して {k < m } かつ ${E[ |X|^m] < \infty }$ と仮定する。このとき任意の {k} に対して ${E[|X|^k]}$ が存在する。
証明：
${ E[|X|^k] = \int_{-\infty}^{\infty} | x |^k f(x) dx \\ = \int_{|x| \leq 1} |x|^k f(x) dx + \int_{|x| > 1} |x|^k f(x) dx \\ \leq \int_{|x| \leq 1} f(x) dx + \int_{|x| > 1} |x|^m f(x) dx \\ \leq \int_{-\infty}^{\infty} f(x) dx + E[|X|^m] \\ \leq 1 + E[|X|^m] }$

定理：マルコフの不等式*2

　いま確率変数 {X(密度関数f)} に対してある非負の値をとる関数があるとする。そして $E[g(X)] < \infty$ とする。このとき任意の {c > 0} に対して以下の不等式

${ 1 - F_X(c) = P[g(X) \geq c] \leq \frac{E[g(X)]}{c} }$

が成り立つ。
証明：
${ 　A := g(x) \geq c が成り立つようなxの集合 }$
とする。
${ E[g(X)] \\ = \int_{-\infty}^{\infty} g(x) f(x) dx \\ = \int_{x \in A} g(x) f(x) dx + \int_{x \in A^c} g(x) f(x) dx \\ \geq \int_{x \in A} g(x) f(x) dx \\ \geq c \int_{x \in A} f(x) dx \\ = c P[g(X) \geq c] }$ ■

証明の途中式 ${\int_{x \in A} g(x) f(x) dx + \int_{x \in A^c} g(x) f(x) dx \geq \int_{x \in A} g(x) f(x) dx }$ から分かるようにかなり大幅に領域を削っていることからこの定理を使えば確率変数の累積分布関数に関して大まかな限界を与えることが分かる。

両辺をで割って ${ P[g(X) \geq c] \leq \frac{E[g(X)]}{c}}$ 。

定理：チェビシェフの不等式*3

を確率変数としてそれは期待値、分散 $σ^2 < \infty$ であるとすると、任意の実数 k > 0 に対して
${ P[|X - \mu| \geq k \sigma] \leq \frac{1}{k^2} }$
証明：式の形がマルコフの不等式と同じであることに気づく、式を比較して ${g(X) = |X - \mu |^2 }$ と $c = (k \sigma)^2$ を代入すると

${ P[|X - \mu |^2 \geq (k \sigma)^2] \leq \frac{E[|X - \mu |^2]}{(k \sigma)^2} = \frac{1}{k^2} }$
とかける。さらに ${P[|X - \mu |^2 \geq (k \sigma)^2] = P[|X - \mu | \geq (k \sigma)]}$ とできるように仮定”任意の実数 k > 0 ”としている。だから成り立つ。■

式の形から平均からのデータの離れ具合とその分散には関係があることが分かる。つまり分散が小さいならデータは平均から近いはずだとこの不等式から言える。

イェンゼンの不等式(Jensen’s Inequality)

　たしか参考文献の訳では「ジェンセンの不等式」だったけど発音的に正しいのかは不明。Wikipediaより引用すると

を実数上の凸関数として二回微分できるとする。
f:id:misos:20150216024656p:plain

引用：イェンゼンの不等式 - Wikipedia

そして確率の話題では上記の関数 {p}

を確率密度関数とみなすと上の不等式は
${ f(E[X]) \leq E[f(X)] }$
と書き換えられる。

証明：関数は凸関数であることに注意する。テイラー展開を用いれば {f(x)} は

${ f(x) = f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) + \frac{f^{(2)}(\chi)}{2!} ( x - E[X] )^2 }$

と記述できる。両辺の平均をとると

${ E[f(x)] = E[f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) + \frac{f^{(2)}(\chi)}{2!} ( x - E[X] )^2] }$

とかける。ここで仮定より {f} は凸関数だから ${f^{(2)}(\chi) > 0}$ であり ${( x - E[X] )^2 \geq 0}$ だから

${ E[f(x)] \\ \geq E[f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) ]\\ = E[f(E[X]) ]+ E[\frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) ] \\ = f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( E[X] - E[X] ) \\ = f(E[X]) }$
■