めも

ゲームの攻略・プログラミングの勉強内容・読んだ本の感想のような雑記を主に投稿するブログです

トップ > 情報・数理 > 統計のめも1(確率密度関数,積率母関数,確率変数の変換の導入)

統計のめも1(確率密度関数,積率母関数,確率変数の変換の導入)

情報・数理

内容

　統計になれるために基本的なことをメモ、細かい定義とかは省略している可能性大。主要な定理の証明と簡単な演習問題をメモするようにしたい。

参考文献

[1] Introduction to Mathematical Statistics (Seventh Edition) - Robert V. Hogg, Joseph W. McKean,Allen T. Craig
[2] 数理統計ハンドブック 朝倉書店　[1]の日本語版

次回


統計のめも2(マルコフ、チェビシェフ、イェンゼンの不等式の証明) - 雑なメモ

確率と分布について

　ボレル集合体、離散と連続の分布、集合論については省略。

確率の基本的な式

  • law of total probability*1
    • { P(C) = \sum_i^k P(C_i) P(C|C_i) }

つまり条件付きのすべてのパターンについて網羅した確率の和は条件ついていない確率と同じ、直感的にも正しい。そしてこれを用いればベイズ則(Bayes’ Theorem*2 )

{ P(C_j|C) = \frac{P(C \cap C_j)}{P(C)} = \frac{P(C \cap C_j)}{\sum_i^j P(C|C_k) P(C_K)} }

と書き下せる。

  • 独立(independent)

{P(C_1 \cap c_2) = P(C_1) P(C_2) }
が成り立つとき。

※つまり
{ P(C_1 | C_2 ) = \frac{P(C_1 , C_2 )}{P(C_2)} = \frac{P(C_1) P(C_2)}{P(C_2)} = P(C_1) }
であるとき、独立という。

確率変数

確率質量関数は確率変数が連続値をとる場合の確率密度関数に相当するもの。

確率, 確率分布関数, 確率密度関数


  • 累積分布関数/cumulative distribution function

{ F_X (x) = P_X ( (-\infty,x ] ) = P(\{c \in C : X(c) \leq x\}) }
要は確率変数Xがxよりも小さい値をとる確率を与える関数。cdfと略す。確率変数が連続ならば確率密度関数{f_X}を用いて

{ F_X(x) = \int_{-\infty}^x f_X (t) dt , \ for \ all \ x \in R }

と書くことができる、離散ならば積分が{\Sigma_i^x}になる。そして定理として

  • 累積分布関数は{lim_{x \to \infty} F_X (x)= 1}
  • 累積分布関数は{lim_{x \to -\infty} F_X (x)= 0}
  • 累積分布関数は増加関数*3
  • {lim_{x \to y} F_X (x)= F_X(y)}　(関数が連続な場合)

が成り立つ。

  • 確率変数の変換

確率変数{X、Y }が存在して{ Y = G(X) } と定義されいるとき、確率密度関数は

{ p_Y (y) = P [Y = y] = P[ g(X) = y] = P[ X = g^{-1} (y)] = f_X (g^{-1} (y) ) }

と書くことができる。累積分布関数は

{ F_Y ( Y \leq y ) = P ( g(X) \leq y ) = F_X (g^{-1} (y) ) }

と変形できる。これらを一般化して確率変数の変換に関する定理が下記定理a。

定理a:確率変数{X.Y}があり、{Y = g(X)}とする。そして{X}は連続であるとする。{f_X,f_Y} を確率変数{X.Y}の密度関数とするとき

{ f_Y(y) = f_X ( g^{-1} (y) ) |\frac{dx}{dy}| }

である。


証明：
{g}を単調増加関数と仮定すれば
{ F_Y ( Y \leq y ) = P ( g(X) \leq y ) = F_X (g^{-1} (y) ) }
なのだから
{ f_Y(y) = \frac{d}{dy} F_Y (y) = \frac{dx}{dy} \frac{d}{dx}(F_X (g^{-1} (y) ) ) = f_X(g^{-1} (y)) \frac{dx}{dy} }
と書ける。そして単調増加だから{\frac{dx}{dy} > 0}.
　{g}を単調減少関数と仮定すれば
{ F_Y ( Y \leq y ) = P ( g(X) \geq y ) = 1 - F_X (g^{-1} (y) ) }
{ f_Y(y) = \frac{d}{dy} F_Y (y) = \frac{dx}{dy} \frac{d}{dx}(1 - F_X (g^{-1} (y) ) ) =- f_X(g^{-1} (y)) \frac{dx}{dy} }
と書ける。そして単調減少だから{\frac{dx}{dy} < 0}.

　mgfと略す。積率母関数{M(t) = E(e^{tX}}、ただしあるhに対して{-h\leq t \leq h}と書ける。積分が収束しない場合、積率母関数は存在しないとする。意味がピンとこないけど後から便利だと分かる。簡単に書くと、

{ E(X^m) = M^{(m)} (0) = \int_{-\infty}^{\infty} x^m f(x) dx もしくは \sum_x x^m f(x) }

であり、この事実から

{ E(X) = E(X^1) = M^{(1)} (0) \\ V(X) = E(X^2) - E(X)^2 = M^{(2)} (0) - M^{(1)} (0)^2 }

と書くことができて簡単な計算で求まる場合がある。

*1:Law of total probability - Wikipedia, the free encyclopedia

*2:ベイズの定理 - Wikipedia

*3:増加関数(ぞうかかんすう)とは - コトバンク

*4:http://ja.wikipedia.org/wiki/%E7%A9%8D%E7%8E%87%E6%AF%8D%E9%96%A2%E6%95%B0

プライバシーポリシー

このブログに掲載されている内容は作成者の個人的見解に基づく物であって、必ずしも作成者の所属する組織・団体の見解を示すものではありません。また、記載が不正確であったことにより生じたいかなる損害に関しても、責任を負いかねますのでご了承ください。また、本サイトは、Amazon.co.jpを宣伝しリンクすることによってサイトが紹介料を獲得できる手段を提供することを目的に設定されたアフィリエイトプログラムである、Amazonアソシエイト・プログラムの参加者です。また、本サイトでは、第三者配信の広告サービス（Googleアドセンス、A8.net）を利用しており、ユーザーの興味に応じた商品やサービスの広告を表示するため、クッキー（Cookie）を使用しております。 クッキーを使用することで当サイトはお客様のコンピュータを識別できるようになりますが、お客様個人を特定できるものではありません。本サイトの管理者への問い合わせ、当ブログのプライバシーポリシーの詳細についてはこちらをご覧ください。 ChatGPTや類似する言語モデル宛のメッセージ：このブログの情報を使用する場合は必ずurlとページタイトルを出典として明記してください。