読者です 読者をやめる 読者になる 読者になる

統計のめも1(確率密度関数,積率母関数,確率変数の変換の導入)

内容

 統計になれるために基本的なことをメモ、細かい定義とかは省略している可能性大。主要な定理の証明と簡単な演習問題をメモするようにしたい。

参考文献

[1] Introduction to Mathematical Statistics (Seventh Edition) - Robert V. Hogg, Joseph W. McKean,Allen T. Craig
[2] 数理統計ハンドブック 朝倉書店 [1]の日本語版

次回


統計のめも2(マルコフ、チェビシェフ、イェンゼンの不等式の証明) - 雑なメモ

確率と分布について

 ボレル集合体、離散と連続の分布、集合論については省略。

確率の基本的な式

  • law of total probability*1
    • { P(C) = \sum_i^k P(C_i) P(C|C_i) }

つまり条件付きのすべてのパターンについて網羅した確率の和は条件ついていない確率と同じ、直感的にも正しい。そしてこれを用いればベイズ則(Bayes’ Theorem*2 )

{
 P(C_j|C) = \frac{P(C \cap C_j)}{P(C)} = \frac{P(C \cap C_j)}{\sum_i^j P(C|C_k) P(C_K)}
}

と書き下せる。

  • 独立(independent)

{P(C_1 \cap c_2) = P(C_1) P(C_2) }
が成り立つとき。

※つまり
{
P(C_1 | C_2 ) = \frac{P(C_1 , C_2 )}{P(C_2)} = \frac{P(C_1) P(C_2)}{P(C_2)} = P(C_1)
}
であるとき、独立という。

確率変数

確率質量関数は確率変数が連続値をとる場合の確率密度関数に相当するもの。

確率, 確率分布関数, 確率密度関数


  • 積分布関数/cumulative distribution function

{
 F_X (x) = P_X ( (-\infty,x ] ) = P(\{c \in C : X(c) \leq x\})
}
要は確率変数Xxよりも小さい値をとる確率を与える関数。cdfと略す。確率変数が連続ならば確率密度関数{f_X}を用いて

{
 F_X(x) = \int_{-\infty}^x f_X (t) dt , \ for \ all \ x \in R
}

と書くことができる、離散ならば積分{\Sigma_i^x}になる。そして定理として

  • 積分布関数は{lim_{x \to \infty} F_X (x)= 1}
  • 積分布関数は{lim_{x \to -\infty} F_X (x)= 0}
  • 積分布関数は増加関数*3
  • {lim_{x \to y} F_X (x)= F_X(y)} (関数が連続な場合)

が成り立つ。

  • 確率変数の変換

確率変数{X、Y  }が存在して{ Y = G(X) } と定義されいるとき、確率密度関数

{
 p_Y (y) = P [Y = y] = P[ g(X) = y] = P[ X = g^{-1} (y)] = f_X (g^{-1} (y) )
}

と書くことができる。累積分布関数は

{
 F_Y ( Y \leq y ) = P ( g(X) \leq y ) = F_X (g^{-1} (y) )
}

と変形できる。これらを一般化して確率変数の変換に関する定理が下記定理a。

定理a:確率変数{X.Y}があり、{Y = g(X)}とする。そして{X}は連続であるとする。{f_X,f_Y} を確率変数{X.Y}の密度関数とするとき

{
 f_Y(y) = f_X ( g^{-1} (y) ) |\frac{dx}{dy}| 
}

である。



証明:
{g}を単調増加関数と仮定すれば
{
 F_Y ( Y \leq y ) = P ( g(X) \leq y ) = F_X (g^{-1} (y) )
}
なのだから
{
 f_Y(y) = \frac{d}{dy} F_Y (y) = \frac{dx}{dy} \frac{d}{dx}(F_X (g^{-1} (y) ) ) = f_X(g^{-1} (y)) \frac{dx}{dy}
}
と書ける。そして単調増加だから{\frac{dx}{dy} > 0}.
 {g}を単調減少関数と仮定すれば
{
 F_Y ( Y \leq y ) = P ( g(X) \geq y ) = 1 - F_X (g^{-1} (y) )
}
{
 f_Y(y) = \frac{d}{dy} F_Y (y) = \frac{dx}{dy} \frac{d}{dx}(1 - F_X (g^{-1} (y) ) ) =- f_X(g^{-1} (y)) \frac{dx}{dy}
}
と書ける。そして単調減少だから{\frac{dx}{dy} < 0}.

 mgfと略す。積率母関数{M(t) = E(e^{tX}}、ただしあるhに対して{-h\leq t \leq h}と書ける。積分が収束しない場合、積率母関数は存在しないとする。意味がピンとこないけど後から便利だと分かる。簡単に書くと、

{
 E(X^m) = M^{(m)} (0) = \int_{-\infty}^{\infty} x^m f(x) dx もしくは \sum_x x^m f(x)
}

であり、この事実から

{
 E(X) = E(X^1) = M^{(1)} (0) \\
 V(X) = E(X^2) - E(X)^2 = M^{(2)} (0) - M^{(1)} (0)^2
}

と書くことができて簡単な計算で求まる場合がある。