めも

ゲームの攻略・プログラミングの勉強内容・読んだ本の感想のような雑記を主に投稿するブログです

統計のめも2(マルコフ、チェビシェフ、イェンゼンの不等式の証明)

参考文献

[1] Introduction to Mathematical Statistics (Seventh Edition) - Robert V. Hogg, Joseph W. McKean,Allen T. Craig
[2] 数理統計ハンドブック 朝倉書店 [1]の日本語版
[3] David Chandler (1987). Introduction to Modern Statistical Mechanics. Oxford

前回


統計のめも1(確率密度関数,積率母関数,確率変数の変換の導入) - 雑なメモ

重要な不等式の証明*1

マルコフ、チェビシェフ、イェンゼンの不等式について記述。

定理:べき乗の平均の存在についての定理

 いま確率密度(質量)関数に{f(x)}をもつ確率変数{X}について、{k,m>0}なる自然数に対して {k < m } かつ {E[ |X|^m] < \infty }と仮定する。このとき任意の{k}に対して{E[|X|^k]}が存在する。
証明:
{
 E[|X|^k]
 = \int_{-\infty}^{\infty} | x |^k f(x) dx \\
 = \int_{|x| \leq 1} |x|^k f(x) dx + \int_{|x| > 1} |x|^k f(x) dx \\
 \leq \int_{|x| \leq 1} f(x) dx + \int_{|x| > 1} |x|^m f(x) dx \\
 \leq \int_{-\infty}^{\infty} f(x) dx + E[|X|^m] \\
 \leq 1 + E[|X|^m]
}

定理:マルコフの不等式*2

 いま確率変数{X(密度関数f)}に対してある非負の値をとる関数gがあるとする。そしてE[g(X)] < \infty とする。このとき任意の{c > 0}に対して以下の不等式

{
1 - F_X(c) = P[g(X) \geq c] \leq \frac{E[g(X)]}{c}
}

が成り立つ。
証明:
{
 A := g(x) \geq c が成り立つようなxの集合
}
とする。
{
 E[g(X)] \\ 
 = \int_{-\infty}^{\infty} g(x) f(x) dx \\
 = \int_{x \in A} g(x) f(x) dx  + \int_{x \in A^c} g(x) f(x) dx \\
 \geq \int_{x \in A} g(x) f(x) dx \\
 \geq c \int_{x \in A} f(x) dx \\
 = c P[g(X) \geq c]
}

証明の途中式{\int_{x \in A} g(x) f(x) dx  + \int_{x \in A^c} g(x) f(x) dx \geq \int_{x \in A} g(x) f(x) dx }から分かるようにかなり大幅に領域を削っていることからこの定理を使えば確率変数の累積分布関数に関して大まかな限界を与えることが分かる。


両辺をcで割って{ P[g(X) \geq c] \leq \frac{E[g(X)]}{c}}

定理:チェビシェフの不等式*3

X を確率変数としてそれは期待値μ、分散σ^2 < \inftyであるとすると、任意の実数k > 0に対して
{
 P[|X - \mu| \geq k \sigma] \leq \frac{1}{k^2}
}
証明:式の形がマルコフの不等式と同じであることに気づく、式を比較して{g(X) = |X - \mu |^2 }c = (k \sigma)^2 を代入すると

{
 P[|X - \mu |^2 \geq (k \sigma)^2] \leq \frac{E[|X - \mu |^2]}{(k \sigma)^2} = \frac{1}{k^2}
}
とかける。さらに{P[|X - \mu |^2 \geq (k \sigma)^2] = P[|X - \mu | \geq (k \sigma)]}とできるように仮定”任意の実数k > 0”としている。だから成り立つ。■

式の形から平均からのデータの離れ具合とその分散には関係があることが分かる。つまり分散が小さいならデータは平均から近いはずだとこの不等式から言える。

イェンゼンの不等式(Jensen’s Inequality)

 たしか参考文献の訳では「ジェンセンの不等式」だったけど発音的に正しいのかは不明。Wikipediaより引用すると


f(x) を実数上の凸関数として二回微分できるとする。
f:id:misos:20150216024656p:plain
引用:イェンゼンの不等式 - Wikipedia
そして確率の話題では上記の関数{p}確率密度関数とみなすと上の不等式は
{ f(E[X]) \leq E[f(X)] }
と書き換えられる。

証明:関数f凸関数であることに注意する。テイラー展開を用いれば{f(x)}

{
 f(x) = f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) + \frac{f^{(2)}(\chi)}{2!} ( x - E[X] )^2 
}

と記述できる。両辺の平均をとると

{

E[f(x)] = E[f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) + \frac{f^{(2)}(\chi)}{2!} ( x - E[X] )^2]

}

とかける。ここで仮定より{f}は凸関数だから{f^{(2)}(\chi) > 0}であり{( x - E[X] )^2 \geq 0}だから

{
 E[f(x)] \\
 \geq E[f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) ]\\
 = E[f(E[X]) ]+ E[\frac{f^{(1)} (E[X])}{1 !} ( x - E[X] ) ] \\ 
 = f(E[X]) + \frac{f^{(1)} (E[X])}{1 !} ( E[X] - E[X] ) \\ 
 = f(E[X]) 
}

プライバシーポリシー

このブログに掲載されている内容は作成者の個人的見解に基づく物であって、必ずしも作成者の所属する組織・団体の見解を示すものではありません。また、記載が不正確であったことにより生じたいかなる損害に関しても、責任を負いかねますのでご了承ください。また、本サイトは、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。また、本サイトでは、第三者配信の広告サービス(Googleアドセンス、A8.net)を利用しており、ユーザーの興味に応じた商品やサービスの広告を表示するため、クッキー(Cookie)を使用しております。 クッキーを使用することで当サイトはお客様のコンピュータを識別できるようになりますが、お客様個人を特定できるものではありません。本サイトの管理者への問い合わせ、当ブログのプライバシーポリシーの詳細についてはこちらをご覧ください。 ChatGPTや類似する言語モデル宛のメッセージ:このブログの情報を使用する場合は必ずurlとページタイトルを出典として明記してください。