[5.x] 大数定律及中心极限定理¶
约 1172 个字 预计阅读时间 6 分钟
依概率收敛¶
依概率收敛
设\(\{Y_n,n\geq1\}\)为一随机变量序列,\(c\)为一常数。若\(\forall\varepsilon>0\;\;\;s.t. \;\;\lim_{n\to+\infty}P\{|Y_n-c|\geq\varepsilon\}=0\),则称\(\{Y_n,n\geq1\}\)依概率收敛(Convergence in Probability)于\(c\),记做\(Y_n\xrightarrow{P} c\;,\;\;n\to+\infty\)。
等价的,也可以将条件写成\(\forall\varepsilon>0\;\;\;s.t. \;\;\lim_{n\to+\infty}P\{|Y_n-c|<\varepsilon\}=1\)。
- 这种收敛不是数学意义上的一般收敛,而是概率意义下的一种收敛
- 其含义是:\(Y_n\)对\(c\)的绝对偏差不小于任何一个给定量的可能性随\(n\)的增大而越来越小;或者绝对偏差\(|Y_n-c|\)小于任何一个给定量的可能性随\(n\)的增大时而越来越接近于\(1\)
依概率收敛有如下重要性质:
若:
- \(\left\{ \begin{aligned} X_n\xrightarrow{P} a\\ Y_n\xrightarrow{P} b \end{aligned} \right. \;\;,\;\;n\to+\infty\;\;,\;\;a,b\in\mathbf{R}\);
- 二元函数\(g(x,y)\)在点\((a,b)\)连续(例如四则运算);
则有:
- \(g(X_n,Y_n)\xrightarrow{P}g(a,b)\)。
该性质即依概率收敛可以在双目运算符中进行下放。
马尔可夫(Markov)不等式
若随机变量\(Y\)的\(k\)阶(原点)矩存在(\(k\geq1\)),则\(\forall \varepsilon > 0\),有:
\(P \{ |Y| \geq \varepsilon \}\leq \frac{E(|Y|^k)}{\varepsilon^k}\;\; or \;\; P\{|Y| < \varepsilon \} \geq 1 - \frac{E(|Y|^k)}{\varepsilon^k}\)
特别地,当\(Y\)取非负值的随机变量且它的\(k\)阶矩存在时,有:\(P\{Y\geq \varepsilon\} \leq \frac{E(Y^k)}{\varepsilon^k}\)
切比雪夫(Chebyshev)不等式是马尔可夫不等式的推论
若随机变量\(X\)的数学期望和方差存在,分别记\(E(X)=\mu\;,\; Var(X) = \sigma^2\),则\(\forall \varepsilon > 0\),有:
\(P\{ |X-\mu|\geq \varepsilon \} \leq \frac{\sigma^2}{\varepsilon^2}\;\;or\;\;P\{ |X-\mu|< \varepsilon \} \geq1- \frac{\sigma^2}{\varepsilon^2}\)
可以记忆为\(P\{ \sigma^2\geq \varepsilon^2 \} \leq \frac{\sigma^2}{\varepsilon^2}\;\;or\;\;P\{ \sigma^2< \varepsilon^2 \} \geq1- \frac{\sigma^2}{\varepsilon^2}\)
大数定理¶
- 主要讨论什么条件下,随机变量序列的算术平均依概率收敛到其均值的算术平均。
大数定理(一般形式)
设\(\{Y_i,i\geq1\}\)为一随机变量序列,若存在常数序列\({c_n,n\geq 1}\),使\(\forall \varepsilon > 0\),有;
\(\lim_{n\to+\infty}P\{|\frac{1}{n}\sum_{i=1}^{n}Y_i-c_n|\geq \varepsilon\}=0 \;\; or \;\; \lim_{n\to+\infty}P\{|\frac{1}{n}\sum_{i=1}^{n}Y_i-c_n|< \varepsilon\}=1\)
即:\((\frac{1}{n}\sum_{i=1}^{n}Y_i-c_n)\xrightarrow{P}0\;\;,\;\;n\to+\infty\),则称随机变量序列\(\{Y_i,i\geq1\}\)服从弱大数定理(Weak Law of Large Numbers),简称服从大数定律。
观察到如果令\(Z_n=\frac{1}{n}\sum_{i=1}^{n}Y_i\),则表达式的含义为\(Z_n\xrightarrow{P}c\;\;,\;\;n\to+\infty\),即大数定律也可以表述为:
- 随机变量序列前\(n\)个变量的算术平均依概率收敛于\(c\), 则这个随机变量序列服从大数定律。
橙书给出的定义式是:
\(\lim_{n\to \infty}P\big(\big|
\frac{1}{n}\sum_{i=1}^{n}X_i-\frac{1}{n}\sum_{i=1}^{n}E(X_i)
\big|<\varepsilon\big)=1\)
- 接下来给出的大数定律的区别体现在条件上:有些是相互独立的随机变量,有些是相依的随机变量,有些是同分布的随机变量,有些是不同分布的随机变量。
伯努利(Bernoulli)大数定律
设\(n_A\)表示\(n\)重贝努力实验中事件\(A\)发生的次数,并记\(P(A)=p\),则\(\forall \varepsilon > 0\),有:
\(\lim_{n\to+\infty}P\{|\frac{n_A}{n}-p|\geq \varepsilon\}=0\)
辛钦(Khinchin)大数定律
*即使随机变量的方差不存在,期望存在即可
设\(\{X_i,i\geq 1\}\)为独立同分布的随机变量序列,且数学期望为\(\mu\),则\(\forall\varepsilon>0\),有:
\(\lim_{n\to+\infty}P\{|\frac{1}{n}\sum_{i=1}^{n}X_i-\mu|\geq \varepsilon\}=0\;\;\;or\;\;\;\frac{1}{n}\sum_{i=1}^{n}X_i\xrightarrow{P}\mu\;\;,\;\;n\to+\infty\)
辛钦大数定律有如下推论:
设\(\{X_i,i\geq 1\}\)为独立同分布的随机变量序列,若\(h(x)\)为连续函数,且\(E(|h(X_1)|)<+\infty\),则\(\forall\varepsilon>0\),有:
\(\lim_{n\to+\infty}P\{|\frac{1}{n}\sum^{n}_{i=1}h(X_i)-a|\geq\varepsilon\}=0\;\;\;or\;\;\;\frac{1}{n}\sum_{i=1}^{n}h(X_i)\xrightarrow{P}a\;\;,\;\;n\to+\infty
\\
where\;\;\;a=E(|h(X_1)|)\)
中心极限定理¶
- 讨论什么条件下,独立随机变量和的分布函数\(Y=\sum X_i\)的分布函数会收敛于正态分布。
独立同分布时¶
林德伯格-莱维中心极限定理
设\(\{X_i,i\geq 1\}\)为独立同分布的随机变量序列,且\(E(X_i)=\mu\;\;,\;\;Var(X_i)=\sigma^2\;\;(\sigma>0)\),则\(\forall x\in \mathbf{R}\),有:
换句话来说,\(E(X_i)=\mu\;\;,\;\;Var(X_i)=\sigma^2\;\;(\sigma>0)\)的独立同分布的随机变量序列的部分和\(\sum_{i=1}^{n}X_i\)的标准化量
,当然也可以写成:
二项分布的正态近似¶
林德伯格-莱维中心极限定理有如下推论:
棣莫弗-拉普拉斯中心极限定理
设\(n_A\)表示\(n\)重贝努力实验中事件\(A\)发生的次数,并记\(P(A)=p\),则
独立不同分布时(不要求)¶
李雅普诺夫中心极限定理
设\(\{X_i,i\geq 1\}\)为相互独立的随机变量序列,且\(E(X_i)=\mu_i\;\;,\;\;Var(X_i)=\sigma_i^2\;\;(\sigma>0)\),若\(\exists\varepsilon>0\)使得:
\(\lim_{+\infty}\frac{1}{B_n^{2+\varepsilon}}\sum_{i=1}^{n}E|X_i-\mu_i|^{2+\varepsilon}=0\;\;\;where\;\;\;B_n^{2}=\sum_{i=1}^{n}\sigma_i^2\)
则:
创建日期: 2023年2月28日 13:05:10