当前位置:首页 >> 工学 >> 北语13秋《概率论与数理统计》导学资料三(第五章到第六章)

北语13秋《概率论与数理统计》导学资料三(第五章到第六章)


北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

北语 13 秋《概率论与数理统计》第三阶段导学
一、 本阶段学习内容概述 本阶段学习内容包括了教材的第五章和第六章。 第三阶段导学主要有三个部分内容:大数定律和中心极限定理,数理统计的基本概念,参数估计。本阶段的 具体内容包括大数定律、中心极限定理、总体和样本、总体的分布函数、样本的数字特征、常用统计量的分布、 点估计及估计量的求法、估计量的优劣、参数的区间估计。 二、重难点讲解 (一)大数定律 大数定律研究对象:研究大量随机变量的平均结果在什么条件下具有稳定性的问题。 1、切贝雪夫大数定理 设 是一列两两相互独立的随机变量,服从同一分布,且存在有限的数学期望 a 和方差 σ2,则对任意小的正 数 ε,有:

该定律的含义是:当 n 很大,服从同一分布的随机变量

的算术平均数

将依概率接近于这些随机变量的数学期望。 将该定律应用于抽样调查,就会有如下结论:随着样本容量 n 的增加,样本平均数将接近于总体平均数。从 而为统计推断中依据样本平均数估计总体平均数提供了理论依据。 2、贝努里大数定律 设 μn 是 n 次独立试验中事件 A 发生的次数,且事件 A 在每次试验中发生的概率为 P,则对任意正数 ε,有:

该定律是切贝雪夫大数定律的特例,其含义是,当 n 足够大时,事件 A 出现的频率将几乎接近于其发生的概率, 即频率的稳定性。 在抽样调查中,用样本成数去估计总体成数,其理论依据即在于此。 3、辛钦大数定律

设 则对 ,有

是一列独立同分布的随机变量,且数学期望存在 成立。

4、重要例题

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

(1)设 则

为一列随机变量,如果 服从大数定律。

(*)

证明 : 对

表明对充分大的 n, ,由契贝晓夫不等式

的方差存在

两边取极限得 即
故 服从大数定律

此称为马尔可夫大数定律 (*)式称为马尔可夫条件。 (2)设

的分布列为:



, 服从大数定律。

且 证:

相互独立,试证明



服从大数定律(马尔可夫大数定律) 。

(3)设

独立同分布,且共同密度函数为 的数学期望及方差是否存在? 是否服从大数定律?

问 1)
2)

解:1)因为

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期



的数学期望存在。

又因为 故 的方差不存在。
存在,故满足辛钦大数定律的条件,

2)由(1)知

服从辛钦大数定律。 从此例可以看出,随机变量序列 它们的方差可以不存在。 (4)若 不满足契贝晓夫大数定律的条件,因而服从大数定律的随机变量序列,

为一列独立同分布的随机变量序列,且

的密度函数为本

问:1) 2)

是否满足契贝晓夫大数定律的条件? 是否满足辛钦大数定律的条件?

解:



不存在 的数学期望存在,但方差不存在

所以

不满足契贝晓夫大数定律的条件,满足辛钦大数定律的条件。 是具有数学期望、

辛钦大数定律为实际生活中经常采用的算术平均值法则提供了理论依据,它断言:如果诸 相互独立、同分布的随机变量,则当 n 充分大时,算术平均值

一定以接近 1 的概率落在真值

的任意小的邻域内。据此,如果要测量一个物体的某指标值 ,可以独立重复地测量 n 次,得到一组数据: ,当 n 充分大时,可以确信 ,且把 作为 的近似值比一次

测量作为 的近似值要精确的多, 因



; 但



, 即

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

关于 的偏差程度是一次测量的 (二)中心极限定理



中心极限定理研究对象:研究大量随机因素的总效应在什么条件下近似地服从正态分布的问题。 1、 (德莫佛—拉普拉斯)极限定理 在 n 重贝努里试验中,事件 A 在每次试验中出现的概率为 (0< 则 <1) , 为 n 次试验中 A 事件发生的次数,

2、 (林德贝尔格-勒维)中心极限定理
设 , ,??是一列独立同分布的随机变量,且 , ?? 则



中心极限定理实质上为 当然这里要求 ,

近似



,??是一列独立同分布的随机变量。

3、例题
例 1、已知红黄两种番茄杂交的第二代结红果的植株与结黄果的植株的比率为 3:1,现种植杂交种 400 株,求结 黄果植株介于 83 到 117 之间的概率。 解: 由题意任意一株杂交种或结红果或结黄果,只有两种可能性,且结黄果的概率 相当于做了 400 次贝努里试验 若记 为 400 株杂交种结黄果的株数,则 ~ 由于 n=400 较大,故由中心极限定理所求的概率为 ;种植杂交种 400 株,

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

故结黄果植株介于 83 到 117 之间的概率为 0.95 例 2、某单位内部有 260 架电话分机,每个分机有 4%的时间要用外线通话。可以认为各个电话分机用不同外线是 相互独立的。问:总机需备多少条外线才能以 95%的把握保证各个分机在使用外线时不必等候? 解:由题意,任意一个分机或使用外线或不使用外线只有两种可能结果,且使用外线的概率 p=0.04,260 个分机中同时使用外线的分机数 ~

设总机确定的最少外线条数为 ,则有 由于 较大,故由德莫佛—拉普拉斯定理,有

查正态分布表可知 解得 所以总机至少备有 16 条外线,才能以 95%的把握保证各个分机使用外线时不必等候。 例 3、重复掷一枚有偏的硬币,设在每次试验中出现正面的概率 与 相差不超过 的概率达 95%以上? 未知。试问要掷多少次才能使出现正面的频率

解:依题意,欲求 ,使

所以要掷硬币 9604 次以上就能保证出现正面的频率与概率之差不超过 (三)数理统计



上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

1、总体与样本
在数理统计中,我们把作为统计研究对象的随机变量称为总体,记为 ? ,? ,? 。对总体进行 n 次试验 后所得到的结果,称为样本,记为( X 1 , X 2 , ?, X n ) , ( Y1 , Y2 , ?, Yn ) ,??,其中,试验次数 n 称为样本容 量。样本( X 1 , X 2 , ?, X n )中的每一个 X i 都是随机变量。样本所取的一组具体的数值,称为样本观测值, 记为( x1 , x 2 , ?, x n ) 。 具有性质: (1)独立性,即 X 1 , X 2 , ?, X n 相互独立。 (2)同分布性,即每一个 X i 都与总体 ? 服从相同的分布。 称为简单随机样本 。 如果总体 ? 是离散型随机变量,概率分布为 P{? ? k} ,那么样本( X 1 , X 2 , ?, X n )的联合概率分布为

P{ X 1 ? x1 , X 2 ? x2 ,?, X n ? x n } ? ? P{ X i ? xi } ? ? P{? ? xi } 。
i ?1 i ?1

n

n

如果总体 ? 是连续型随机变量,概率密度为 ? ( x) ,那么样本( X 1 , X 2 , ?, X n )的联合概率密度为

? * ( x1 , x 2 ,?, x n ) ? ? ? X ( xi ) ? ? ? ( xi ) 。
i ?1
i

n

n

i ?1

如果总体

?

的分布函数为
n n

F ( x) , 那 么 样 本 ( X 1 , X 2 , ?, X n ) 的 联 合 分 布 函 数 为

F * ( x1 , x 2 ,?, x n ) ? ? FX i ( xi ) ? ? F ( xi ) 。
i ?1 i ?1

2、用样本估计总体的分布
数理统计的一个主要任务,就是要用样本估计总体的分布。 参数估计又可以分为两种,一种是点估计,另一种是区间估计。

3、 矩法估计
求矩法估计的步骤为: (1)计算总体分布的矩 E (? ) ? f k (? 1 ,? 2 , ?,? m ) , k ? 1,2,?, m ,计算到 m 阶矩为止( m 是总体分布
k

中未知参数的个数) 。 (2)列方程

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn
? ? ? ,? ? , ? ,? ? ) ? E? ? X f ( ? m ? 1 1 2 ? ? ? ,? ? , ? ,? ? ) ? E (? 2 ) ? X 2 ? f (? m ? 2 1 2 ? ?? ? ? ? ,? ? , ? ,? ? ) ? E (? m ) ? X m ? f ( ? m ? m 1 2

2013-2014 学年 第一学期

? ,? ? , ? ,? ? ,它们就是未知参数 ? ,? ,?,? 的矩法估计。 从方程中解出 ? 1 2 m 1 2 m

4、极大似然估计
求极大似然估计的步骤为: (1)写出似然函数 L 的表达式。 如果总体 ? 是离散型随机变量,概率分布为 P{? ? k} ,那么 L ?
n

? P{? ? x } ;
i i ?1 i

n

如果总体 ? 是连续型随机变量,概率密度为 ? ( x) ,那么 L ?

?? (x ) 。
i ?1

? ,? ? , ? ,? ? ,它们就 (2)在 ? 1 ,? 2 ,?,? m 的取值范围 ? 内,求出使得似然函数 L 达到最大的参数估计值 ? 1 2 m
是未知参数的极大似然估计。 通常的做法是,先取对数 ln L (因为当 ln L 达到最大时, L 也达到最大) 。 然后令 ln L 关于 ? 1 ,? 2 ,?,? m 的偏导数等于 0,得到方程组

? ? ? ? ? ? ?

? ln L ?0 ?? 1 ?? ? ln L ?0 ?? m

? ,? ? , ? ,? ? ,所以,按照极大似然估计的定义, 由此可见,如果上面这个方程组在 ? 内有唯一解 ? 1 2 m ? ,? ? , ? ,? ? 就是未知参数 ? ,? ,?,? 的极大似然估计。 ? 1 2 m 1 2 m

5、衡量点估计好坏的标准
定理 值, S
2

设总体 ? 的数学期望 E? 和方差 D ? 都存在, ( X 1 , X 2 ,..., X n )是 ? 的样本, X 是样本均 是样本方差,则有 (2) DX ?

(1) EX ? E? ;

D? ; n

(3) E ( S ) ?
2

n ?1 D? 。 n

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

衡量点估计的好坏标准: (1) 无偏性 定义 6.1 (2) 有效性

? ? ? ,则称?? 是 ? 的无偏估计。 设 ?? 是参数 ? 的估计,如果有 E?

? 都是参数 ? 的无偏估计,如果有 D(? ? ) ? D(? ? ) ,则称 ?? 比 ?? 有效。 定义 6.2 设 ??1 , ? 1 2 2 1 2
(3)相合性(一致性) 定义 6.3 设 ?? 是参数 ? 的估计, n 是样本容量,如果任何 ? ? 0 ,都有

? ?? ? ? } ? 1 , lim P{ ?
n??

则称 ?? 是 ? 的相合估计(一致估计) 。 可以证明,矩法估计都是相合估计。除了极个别的例外,极大似然估计也都是相合估计。

6、数理统计中几个常用的分布

? 2 分布
定义 6.4 若有 X 1 , X 2 ,..., X n 相互独立, X i ~ N (0, 1) , i ? 1, 2, ?, n ,则称 由度是 n 的 ?
2

?X
i ?1

n

2 i

所服从的分布为自

分布,记为 ? (n) 。
2

? 2 分布的概率密度为
n x ?1 ? ? 1 2 2 x e ? n ? 2 n ? ( x) ? ? 2 ?( 2 ) ? ? 0 ?

x?0

x?0

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

? 2 分布的图象见图 6-2 。

定理 如果有 ? ~ ? ( m ) , ? ~ ? (n) ,相互独立,则 ? ? ? ~ ? (m ? n) 。即 ? 分布具有可加性。
2 2

2

2

t 分布
定义 若有 ? ~ N (0, 1) , 相互独立, 则称 ? ~ ? ( n) ,
2

? 所服从的分布为自由度是 n 的 t 分布, ? n

记为 t ( n ) 。

图 6-2

? 2 布的概率密度
n ?1 ) n ?1 x2 ? 2 (1 ? ) 2 n n n? ?( ) 2

t 分布的概率密度为

? ( x) ?
t 分布的图象见图 6-3 。

?(



F 分布
定义 若有 ? ~ ? ( m ) ,? ~ ? (n) ,相互独立,则称
2 2

? m 所服从的分布为自由度是 (m, n) 的 F ? n

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

分布,记为 F (m, n) 。

F 分布的概率密度为
m ? m?n ?1 n 2 ? ?( 2 ) m x m 2 n2 ? m?n n ? m ? ( x ) ? ? ? ( )? ( ) (mx ? n) 2 2 ? 2 ? ? 0 ?

x?0

x?0

F 分布概率密度的图象见图 6-4 。

定理

如果 F ~ F (m, n) ,则必有

1 ~ F (n, m) 。 F

三大抽样分布 三大抽样分布的严格定义见定义 6.4, 6.5,6.6,构造性定义可简示如下:

N ? 0,1? ? ... ? N ? 0,1? ~ ? 2 ? n ?
N ? 0,1? ~ t ?n?

2

2

?

2

?n?

/n

? 2 ? m? / m ? 2 ? n? / n

~ F ? m, n ?

其中 F 代表分布 F 对应的随机变量.

7、正态总体统计量的分布
定理 设( X 1 , X 2 , ?, X n )是总体 ? ~ N ( ? , ? ) 的样本, X 是样本均值,则有
2

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

X ~ N (? ,

?2
n

) ,即有

X ??

?

n ~ N (0, 1) 。

定理

设 ( X 1 , X 2 , ?, X n ) 是总体 ? ~ N ( ? , ? ) 的样本, X 是样本均值,S 是样本方差, 则有
2
2

(1)

X 与 S 2 相互独立 ;

(2)

nS 2

?2

~ ? (n ? 1) 。
2

定理

设( X 1 , X 2 , ?, X n )是总体 ? ~ N ( ? , ? ) 的样本, X 是样本均值, S * 是修正样本标准差,
2

则有

X ?? n ~ t (n ? 1) 。 S*
定理 设 ( X 1 , X 2 ,?, X m )是总体 ? ~ N ( ?1 , ? 1 ) 的样本, ( Y1 , Y2 , ?, Yn )是总体 ? ~ N ( ? 2 , ? 2 )
2
2

的样本,两个样本相互独立, X , Y 是 ? , ? 的样本均值,则有

( X ? Y ) ? ( ?1 ? ? 2 )

? 12
m

?

2 ?2

~ N (0, 1) 。

n
2
2

定理 设 ( X 1 , X 2 ,?, X m )是总体 ? ~ N ( ?1 , ? 1 ) 的样本, ( Y1 , Y2 , ?, Yn )是总体 ? ~ N ( ? 2 , ? 2 ) 的样本,其中 ? 1 ? ? 2 ,两个样本相互独立, X , Y 是 ? ,? 的样本均值, S x , S y 是 ? ,? 的样本方
2

2

差,则有

( X ? Y ) ? ( ?1 ? ? 2 ) Sw 1 1 ? m n

~ t (m ? n ? 2) ,其中, S w ?

2 mS x2 ? nS y

m?n?2



总体 ? ,? 为正态分布, ? X 1 ,..., X m ? 与 ?Y1 ,..., Yn ? 分别为其样本时,几个重要结论及关系:

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

X 的标准化 T ? ? n ~ N ? 0,1?
?

? n ? 1? S *2
?2

~ ? 2 ? n ? 1?

F 分布定义

t 分布定义

X ?? n ~ t ? n ? 1? S*
T 分布定义

S x*2 / ? 12 ~ F ? m ? 1, n ? 1? SY *2 / ? 2 2

X ? Y 的标准化服从 N (0, 1)

? X ?Y ? ? ??
SW

1

? ?2 ?

1 1 ? m n

~ t ? m ? n ? 2?

8、典型例题
例1 估计。 解 先求总体分布的矩,得到 设总体 ? ~ N ( ? , ? ) , ? , ? ? 0 是未知参数, ( X 1 , X 2 , ?, X n ) 是 ? 的样本,求 ? , ? 的矩法
2

E? ? ? , E (? 2 ) ? D? ? ( E? ) 2 ? ? 2 ? ? 2 。

再列方程

? ? ? ? E? ? X ? ? ? ? 2 2 ? ? ?? ? ? E (? 2 ) ? X 2 ??

(1) (2)

? ? X ,代入(2)可得 从(1)得 ?
? ?? S 开方后得 ?
2

? 2 ? X 2 ? (X )2 ? ?

1 n 2 Xi ? X 2 ? S2 , ? n i ?1

? ? S ,由于 ? ? 0 ,舍去不符合题意的负根,最后得到 ? 和 ? 的矩法估计

??X ?? 2 ?2 ? S2。 。在推导中,我们顺便也求得了 ? 的矩法估计 ? ? ? ? ? S ?
设总体 ? 服从 [0,? ] 上的均匀分布,概率密度为

例2

? ( x) ? ?

?1 ? ?0

0 ? x ?? 其他

? ? 0 是未知参数, ( X 1 , X 2 ,?, X n ) 是 ? 的样本,求 ? 的矩法估计。
解 先求总体分布的矩

E? ? ? x ? ( x) dx ?? x ? dx ? ? 2 。
?? 0

?

?

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院
?

http://www.eblcu.cn

2013-2014 学年 第一学期

再列方程

? ? 2X 。 ? 2 ? E? ? X 。解此方程,得到 ? 的矩法估计 ? ?
设总体 ? 服从 0-1 分布,概率分布为 P{? ? k} ? p (1 ? p)
k 1? k

例3

, k ? 0, 1 ,

0 ? p ? 1 是未知参数, ( X 1 , X 2 ,?, X n ) 是 ? 的样本,求 p 的极大似然估计。
解 先求似然函数
n n

L ? ? P{? ? xi } ? ? p xi (1 ? p )1? xi ? p i ?1 (1 ? p )
i ?1 i ?1

n

n

? xi

n?

? xi
i ?1



再取对数

ln L ? ? xi ln p ? (n ? ? xi ) ln (1 ? p)
i ?1 i ?1

n

n



求导,列方程

n d ln L 1 n 1 ? ? xi ? (n ? ? xi ) ? 0 dp p i ?1 1? p i ?1



从方程中可解得 p ?

1 n 1 n ? x p ? ,它使 达到最大,所以 的极大似然估计为 p ln L ? i ? Xi ? X 。 n i ?1 n i ?1
#

例 4 设总体 ? ~ N ( ? , ? ) , ? , ? ? 0 是未知参数。 ( X 1 , X 2 , ?, X n ) 是 ? 的样本。求 ? , ? 的极大似然估
2

计。 解

先求似然函数

L ? ? ? ( xi ) ? ?
i ?1 i ?1

n

n

1 2? ?

e

?

( xi ? ? ) 2 2?
2

?
n

1 (2? )
i
n 2

?

1 2?
2

?

n

e

? ( xi ? ? ) 2
i ?1

n



再取对数 求导,列方程

ln L ? ?

n 1 ln (2? ) ? n ln ? ? 2 2? 2

? (x
i ?1

? ?)2



?2 n 1 n ? ? ln L ? ? ( x ? ? ) ? ( ? x i ? n? ) ? 0 ? i ? ? ?? 2? 2 i ?1 ? 2 i ?1 ? n ? ? ln L ? ? n ? 1 ? ( xi ? ? ) 2 ? 0 ? ? ? 3 i ?1 ? ??
从(1)解得 ? ?

(1) (2)

1 n 1 n 2 x ? x ? ? ( xi ? x ) 2 ? s 2 , ,代入( 2 )可解得 ? ? i n i ?1 n i ?1

开方后得

? ? ? s 2 ? ? s ,由于 ? ? 0 ,舍去不符合题意的负根,得到 ? ? s 。
??X ?? 。 ??S ??

它们使 ln L 达到最大,所以, ? 和 ? 的极大似然估计为 ?

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

? ? s 使 L 达到最大,也就是 ? 2 ? s 2 使 L 达到最大,所以,顺便还可以推导出 ? 2 的极大似然估
? ?S 。 计为 ?
2 2

#

例5

设总体 ? 服从 [0,? ] 上的均匀分布,概率密度为

? ( x) ? ?

?1 ? ?0

0 ? x ?? 其他

? ? 0 是未知参数, ( X 1 , X 2 ,?, X n ) 是 ? 的样本,求 ? 的极大似然估计。
解 先求似然函数:

? n 1 ?? ? n ? i ?1 L ? ? ? ( xi ) ? ? i ?1 ? 0 ? ?

0 ? xi ? ? ( i ? 1,2, ? , n) 其他

?1 ?? n ? ?? ?0 ? ?


0 ? min xi ? max xi ? ?
i i

其他
ln L ? ln( 1 ) ? ? n ln ?
。对它求导后,列出的方程

L ? 0 时,对 L 取对数,得到

?n

d ln L n ? ? ? 0 显然无解,这说明当 L ? 0 时,不存在导数为 0 的点。 d? ? 1 但是,不存在导数为 0 的点,不等于说 L 没有最大值。从 L ? n 可以看出,? 的值越小, L 的值越大。

?

但是, ? 不能无限制地小下去,此式成立的条件是 ? ? max x i ,在其它情况下有 L ? 0 ,所以,只有当
i

? ? max xi 时,似然函数 L 才能取到最大值。因此,根据极大似然估计的定义, ? 的极大似然估计是
i

? ? max X 。 ? i
i

例6

??X, ? 设总体 ? ~ N ( ? , ? ) , 前面我们已求得 ? 的估计 ?
2

2

??X 和 ?2 ? S2 , 的估计 ? 问 ?

? 2 ? S 2 是不是 ? 和 ? 2 无偏估计? ?


? ? X 是 ? 的无偏估计。 ? ? EX ? E? ? ? ,所以 ? 由上面定理 6.1 可知, E?

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

? 2 ) ? E (S 2 ) ? 而 E (?

n ?1 n ?1 2 ? 2 ? S 2 不是 ? 2 的无偏估计。 D? ? ? ? ? 2 ,所以 ? n n
1 n n (X i ? X )2 ? S 2 代替 S 2 作为 ? 2 的估计, ? n ? 1 i ?1 n ?1

但是,只要对它稍作修正,用修正样本方差 S *2 ? 由于 E ( S *2 ) ? E (

n n n n ?1 2 S2) ? E (S 2 ) ? ? ? ? 2 ,所以 S * 2 是 ? 2 的无偏估计。 n ?1 n ?1 n ?1 n
2

例7

?1 ? 设总体 ? ~ N ( ? , ? ) , 证明 ? ( X 1 , X 2 ) 是 ? 的一个样本,

是 ? 的无偏估计。并比较哪一个估计更有效。 解 因为

2 1 1 1 ? 2 ? X1 ? X 2 都 X1 ? X 2 , ? 3 3 2 2

2 1 2 1 EX 1 ? EX 2 ? E? ? E? ? E? ? ? , 3 3 3 3 1 1 1 1 ? 2 ? EX 1 ? EX 2 ? E? ? E? ? E? ? ? , E? 2 2 2 2 ?1 ? E?

?1 , ? ? 2 都是 ? 的无偏估计。 所以 ?
因为



(四)参数估计

1 2 5 2 ?2 比 ? ? 1 更有效。 ? 2 ? D? ? 1 ,所以 ? ? ? ? ,即 D? 2 9

4 1 4 1 5 5 DX 1 ? DX 2 ? D? ? D? ? D? ? ? 2 , 9 9 9 9 9 9 1 1 1 1 1 1 ? 2 ? DX 1 ? DX 2 ? D? ? D? ? D? ? ? 2 , D? 4 4 4 4 2 2 ?1 ? D?

参数估计是用样本统计量估计总体参数的方法。 总体参数是反映总体特征的数字, 总体参数在估计前是未知 的。这一部分主要介绍参数估计的基本方法(点估计、区间估计)以及参数估计量的评价标准等。点估计目的是 依据样本 X=(X1,X2,?,Xn)估计总体分布所含的未知参数 θ 或 θ 的函数 g(θ )。 一般 θ 或 g(θ )是总体的某个 特征值,如数学期望、方差、相关系数等。点估计的常用方法有矩估计法、顺序统计量法、最大似然法、最小二 乘法等。区间估计是从点估计值和抽样标准误出发,按给定的概率值建立包含待估计参数的区间。其中这个给定 的概率值称为置信度或置信水平, 这个建立起来的包含待估计函数的区间称为置信区间, 指总体参数值落在样本 统计值某一区内的概率;而置信区间是指在某一置信水平下,样本统计值与总体参数值间误差范围。置信区间越 大,置信水平越高。划定置信区间的两个数值分别称为置信下限和置信上限。 通过对教材和课件的学习,在这一章大家要熟悉点估计的概念,掌握矩估计法和极大似然估计法,熟悉估计 量的无偏性、有效性、一致性,掌握置信区间的概念,了解区间估计的基本方法,掌握正态总体均值区间估计。 了解单侧置信限、比率 P 的置信区间。 点估计部分

1. 矩估计法 如上所述,例 5.4 中我们所做的对该地区农户的平均收入水平和贫富悬殊程度做出推断这一工作,用数理统

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn
2

2013-2014 学年 第一学期

计的话说,实质上是对总体 X ~ N ( ? , ? ) 的未知参数期望值 ? 与方差值 ? 2 进行估计。我们当时是分别用样本 均值 X 和样本方差 S 2 来反映这两个量的,那么这样做是否合理?直观来看这样做是合理的,从概率论的观点看 也是合理的。事实上,若总体 X 的期望存在, E ( X ) ? ? , X 1 , X 2 ,?, X n 是出自 X 的样本,则由柯尔莫哥洛夫 强大数定律,以概率为1地成立

lim

1 n Xi ? ? ? n ?? n i ?1

而上式左边极限号内正是样本均值 X ,因此,我们常用 X 作为 ? 的估计值。不仅如此,若 X 的 k 阶矩存在,

EX k ? a k ,则同样由柯尔莫哥洛夫强大数定律得出

lim

1 n k ? X i ? ak n i ?1

以概率为1成立。于是,同样可用样本 k 阶原点矩 Ak ?

1 n k ? X i 来近似 a k ,这种用样本原点矩去估计总体相应 n i ?1

原点矩的方法,即是所谓的矩估计法。一般地,若总体的分布有 m 个参数 ? 1 ,? 2 ,?,? m ,则显然,总体的 k 阶 矩( k ? m ) a k 如果存在的话,必依赖这些参数,即

ak ? ak (? 1 ,? 2 ,?? m ), k ? 1,2,?, m
按照用样本矩近似真实矩的原则,可得方程

? A1 ? a1 (? 1 ,? 2 , ? ,? m ) ? ??? ? ? A ? a (? ,? , ? ,? ) m 1 2 m ? m
若上述关于 ? 1 ,? 2 ,?,? m 的方程组有唯一的解

(6.1)

? ? (? 1 ,? 2 , ? ,? m )
则称 ??i 是 ? i 的矩估计量(Square Estimator)或矩估计。 例:无论总体为什么分布,只要二阶矩存在,则样本方差 S 为方差 ? 的矩估计量。
2 2

?

?

?

?

解: 设 X 1 , X 2 ,?, X n 为一样本,我们有

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

1 n ? a ? Xi ? X ? ? 1 n? i ?1 ? n ? a 2 ? 1 ? X i2 ? n i ?1 ?

2 1 n 2 Xi ? X ? n i ?1

? 2 ? a 2 ? a12 ?
?

1 n (X i ? X )2 ? S 2 ? n i ?1

例:设 X 为[ ? 1 ,? 2 ]上的均匀分布, X 1 , X 2 ,?, X n 为样本,求 ? 1 ,? 2 的矩估计。 解:

? 22 ? ? 12 xdx 1 a1 ? ? ? ? (? 1 ? ? 2 ) 2(? 2 ? ? 1 ) 2 ?1 ? 2 ? ? 1
?2 ?

2 ? ? ?2 ? 1 1 ? 2 ?x ? 1 ? dx ? (? 2 ? ? 1 ) ? ? 2 ? ? 1 ?1 ? 2 ? 12

?2

?

2

1 ? ? X ? 2 (? 1 ? ? 2 ) ? 1 ?S 2 ? (? 2 ? ? 1 ) 12 ?
解上述关于 ? 1 ,? 2 的方程得
? ? ?? 1 ? X ? 3S ?? ? ?? 2 ? X ? 3S

例: 贝努利试验中,事件 A 发生的频率是该事件发生概率的矩法估计。 解: 此处,实际上我们视总体 X 为“唱票随机变量” ,即 X 服从两点分布:

?1, 若A 发生, P( A) ? p X ?? ?0, 若A不发生
求参数 p 的矩法估计。 设 X 1 , X 2 ,?, X n 为 X 的一个样本,若其中有 n1 个 X i 等于 1,则 X ? 率,另一方面,显然

n 1 n X i ? 1 即为事件 A 发生的频 ? n i ?1 n

EX ? P( A) ? p
??X. 故有 p

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

例:

设总体的密度函数为

? ?2 x ?1 exp( ? x ? 2 ), x ? 0 ? ? ? 1 ? ?1 ? f ( x, ? 1 , ? 2 ) ? ? ?? ? ? ? ? ? ?2 ? ? 0, x ? 0 ?

? 1 ? ? 1 ? ?,? 2 ? 0, X 1 , X 2 ,?, X n 为此总体的样本。则可以算出
? 2 ? ?1 ? a1 ? ?? ? ? ? ? ? 2 ? ? 3 ? ?1 ? a 2 ? ?? ? ? ? ? ? 2 ? ? 1 ? ?1 ? ?? ? ? ? ? ? 2 ? ? 1 ? ?1 ? ?? ? ? ? ? ? 2 ?

其中 ?( z ) 为伽(Gamma)函数,按矩估计原理分别用 X , A2 取代 a1 , a 2 。 使用矩估计法的一个前提是总体存在适当阶的矩, 阶数应不小于待估参数的个数 (或者说参数空间的维数) , 但这不总是可以做到的。 例: 柯西(Cauchy)分布 设总体具有密度函数

f ( x, ? ) ?

1 ,?? ? x ? ? ? (1 ? ( x ? ? ) 2 )

显然,它的各阶矩皆不存在,因此,不能用矩估计法来估计参数 ? .另外,尽管矩估计法简便易行,且只要 n 充分 大,估计的精确度也很高,但它只用到总体的数字特征的形式,而未用到总体的具体分布形式,损失了一部分很 有用的信息,因此,在很多场合下显得粗糙和过于一般。 2. 极大似然估计 参数的点估计方法中另一个常用方法就是极大似然估计,简记为 MLE (Maximum Likelihood Estimation) 。 从字面上来理解,就是通过对样本的考察,认为待估参数最象是取什么值即作为对参数的估计,事实上,极大似然 估计原理也大致如此。我们通过一个具体例子来说明这一估计的思想。 例: 已知甲、乙两射手命中靶心的概率分别为 0.9 及 0.4,今有一张靶纸上面的弹着点表明为 10 枪 6 中, 已知这张靶纸肯定是甲、乙之一射手所射,问究竟是谁所射? 从直观上看,甲的枪法属上乘,命中靶心率为 0.9,看来这次射击成绩不至于这么差;而乙的枪法又似乎尚 不足以打出这么好的成绩,但二者取一,还是更象乙所射。 我们来计算一下可能性。 为此, 我们建立一个统计模型: 设甲、 乙射中与否分别服从参数为 p1 ? 0.9, p 2 ? 0.4 的两点分布,今有样本 X 1 , X 2 ,?, X 10 ,其中有 6 个观察值为 1,4 个为 0,由此估计总体的参数 p 是 0.9,还是 0.4.这里因为参数空间只有两个点: ? ={0.9,0.4},我们不妨分别计算一下参数为什么的可能性大。若是甲所 射,即参数 p =0.9,则此事发生的概率为 L( p1 ) ? p1i ?1
i ?1 即参数 p =0.4,则此事发生的概率为 L( p 2 ) ? p 2 10 10

? Xi

(1 ? p1 )
10?

10?

? Xi
i ?1

? (0.9) 6 (0.1) 4 ? 0.00005 ;若是乙所射,

? Xi

10

(1 ? p2 )

? Xi
i ?1

10

? (0.4) 6 (0.6) 4 ? 0.0005 ,尽管是乙所射的

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

可能也不大,但毕竟比是甲所射的概率大了 10 倍,因此,在参数空间只有两点的情况下,概率 L( p ) 的最大值在

? = p 2 =0.4. p =0.4 处发生,故我们更情愿认为是乙所射,即用 0.4 作为 p 的估计: p
总之,极大似然估计的出发点是基于这样一个统计原理,在一次随机试验中,某一事件已经发生,比如已经 得到某个具体的样本 X 1 , X 2 ,?, X n ,则必然认为发生该事件的概率最大。 从例中我们可以看出,极大似然估计的做法,关键有两步: 第 一 步 写 出 某 样 本 X 1 , X 2 ,?, X n 出 现 概 率 的 表 达 式 L(? ) , 对 于 离 散 型 总 体 X , 设 它 的 分 布 列 为

p(k i ;? ), i ? 1,2,?, 则上述样本出现的概率为

L(? ) ? ? p( X i ;? )
i ?1

n

对于固定的样本, L(? ) 是参数 ? 的函数,我们称之为似然函数(Likelihood Function)。

? ? ?(? 是参空间),使得 L(? ) 达到最大,此 ?? 即为所求的参数 ? 的极大似然估计。这里还需 第二步则是求 ?
要着重强调几点: 1) 当总体 X 是连续型随机变量时,谈所谓样本 X 1 , X 2 ,?, X n 出现的概率是没有什么意义的,因为任何一 个具体样本的出现都是零概率事件。这时我们就考虑样本在它任意小的邻域中出现的概率,这个概率越大,就等 价于此样本处的概率密度越大。因此在连续型总体的情况下,我们用样本的密度函数作为似然函数。

L(? ) ? ? f ( X i ;? )
i ?1

n

2) 为了计算方便,我们常对似然函数 L(? ) 取对数,并称 ln L(? ) 为对数似然函数 (Logarithm likelihood function)。易知, L(? ) 与 ln L(? ) 在同一 ?? 处达到极大,因此,这样做不会改变极大点。 3) 在例 6.7 中参数空间只有两点,我们可以用穷举法求出在哪一点上达到最大,但在大多数情形中, ? 包 含m维欧氏空间的一个区域,因此,必须采用求极值的办法,即对对数似然函数关于 ? i 求导,再令之为 0,即得

? ln L(? ) ? 0,? ? (? 1 ,? 2 ,?,? m ) ?? i

i ? 1,2,?, m

(6.2)

我们称(6.2)为似然方程 (组) (Likelihood equation (group)) 。 解上述方程, 即得到 ? i 的 MLE ,i ? 1,2,?, m . 例: 解: 设 X 1 , X 2 ,?, X n 是 N ( ? , ? ) 的样本,求 ? 与 ? 的 MLE .
2

2

我们有

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

? n ? (X i ? ?) ? ? ? 1 ? ? L( ? , ? 2 ) ? exp ?? i ?1 ? n n 2 2 2? (2? ) 2 (? ) 2 ? ? ? ? ? ? n n ln L( ? , ? 2 ) ? ? ln 2? ? ln ? 2 ? 2 2

?(X
i ?1

n

i

? ?)2

2? 2

? ? ln L( ? , ? 2 ) 1 n ? ? (X i ? ?) ? 0 ? ? ?? ? 2 i ?1 ? 2 n ? ? ln L( ? , ? ) ? ? n ? 1 ? ( X i ? ? ) 2 ? 0 ? ?? 2 2? 2 2? 4 i ?1 ?
解似然方程组,即得

??

?

1 n ? Xi ? X n i ?1 1 n ? ? (X i ? X )2 ? S 2 n i ?1

?2 ? ?

例:

设有 k 个事件 A1 , A2 ,?, Ak 两两互斥,其概率 p1 , p 2 ,?, p k 之和为 1.做 n 次重复独立试验,则各事

件发生的频率为各相应概率的MLE.事实上,设样本 X 1 , X 2 ,?, X n 记录了每次试验中所发生的事件,以 n i 表 示 n 次试验中事件 Ai (i ? 1,2,?, k ) 发生的次数,则此样本出现的概率(似然函数)为

? k ?1 ni L( p ) ? ? ? ? pi ? i ?1
于是
k ?1 i ?1

?? k ?1 ? ? ??1 ? ? pi ? i ?1 ? ??

nk

ln L( p) ? ? ni ln pi ? nk ln(1 ? ? pi )
i ?1

k ?1

得似然方程

? ln L( p ) n j ? ? ?p j pj
即 n j p k ? p j nk , j ? 1,2,?, k ? 1 将上述 k ? 1 个等式相加,注意到

nk 1 ? ? pi
i ?1 k ?1

?

nj pj

?

nk ?0 pk

? ni ? n, ? pi ? 1 及
i ?1 i ?1

k

k

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

(n ? nk ) p k ? nk (1 ? p k )
得到

?k ? p

nk n

右边即为事件 Ak 发生的频率,显然事件 Ak 与其它事件 A j 地位是相同的,故类似可得到

?j ? p

nj n

, j ? 1,2,?, k ? 1

需注意到,并非每个 MLE 问题都可通过解似然方程得到,如 估计量的评价准则部分 对于同一参数,用不同方法来估计,结果是不一样的,甚至用同一方法也可能得到不同的统计量。 例: 设总体 X 服从参数为 ? 的泊松分布,即

P{ X ? k} ? e ??

?k
k!

, k ? 0,1,2,?

则易知 E ( X ) ? ? , D( X ) ? ? ,分别用样本均值和样本方差取代 E ( X ) 和 D( X ) ,于是得到 ? 的两个矩估计量

? ? X ,? ? ? S2 . ? 1 2
既然估计的结果往往不是唯一的,那么究竟孰优孰劣?这里首先就有一个标准的问题。 1. 无偏性(Unbiased)

?( X , X , ?, X ) 是 ? 的一个估计量,若对任意的 ? ? ? ,都有 E (? ?) ? ? ,则称 ?? 是 ? 的 定义 1 设 ?? = ? 1 2 n ?
无偏估计量(Unbiased estimator),如果
?

lim ( E? ? ( X 1 , X 2 ,?, X n ) ? ? )? lim bn (? ) ? 0
n?? n??

则称 ?? 是 ? 的渐近无偏估计量 (Approximation unbiased estimator),其中 bn (? ) 称为是 ?? 的偏差 (affect)。

?( X , X , ?, X ) is ? a estimator, if for any (Suppose ?? = ? 1 2 n
unbiased estimator of ? ; if
?

?) ? ? , then ?? is called a ? ? ? there is E? (?

lim ( E? ? ( X 1 , X 2 ,?, X n ) ? ? )? lim bn (? ) ? 0
n?? n??

?? is called asymptotically unbiased estimator of ? ,where bn (? ) is called affect of ?? .)
无偏性反映了估计量的取值在真值 ? 周围摆动,显然,我们希望一个量具有无偏性。

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

例 :

S2

不 是 总 体 方 差

D( X ) ? ? 2 的 无 偏 估 计 , 因 为 注 意 到

D( X ) ? D(

1 n 1 Xi) ? 2 ? n i ?1 n

? D( X i ) ?
i ?1

n

1 ?2 2 .故 n ? ? n n2

?1 n ? ?1 n ? E (S 2 ) ? E ? ? ( X i ? X ) 2 ? ? E ? ? ( X i ? ? ) 2 ? ( X ? ? ) 2 ? ? n i ?1 ? ? n i ?1 ?

?

2

1 n 1 ? 2 n ?1 2 2 D ( X ) ? D ( X ) ? ? n ? ? ? ? ? i n i ?1 n n n

lim
2

n ?1 2 ? ??2 n ?? n
2

因此 S 是渐近无偏估计。在 S 的基础上,我们适当加以修正可以得到一个 ? 的无偏估计,这个估计量也和样 本方差一样是经常被采用的:

S *2 ?

n 1 n S2 ? ( X i ? X )2 ? n ?1 n ? 1 i ?1

我们在第五章曾经说过,对估计量的优劣的评价,一般是站在概率论的基点上,在实际应用问题中,含有多 次反复使用此方法效果如何的意思。对于无偏性,也同样是这样,即是在实际应用问题中若使用这一估计量算出 多个估计值,则它们的平均值可以接近于被估参数的真值。这一点有时是有实际意义的,如某一厂商长期向某一 销售商提供一种产品,在对产品的检验方法上,双方同意采用抽样以后对次品进行估计的办法。如果这种估计是 无偏的,那么双方都理应能够接受。比如这一次估计次品率偏高,厂商吃亏了,但下一次估计可能偏低,厂商的 损失可以补回来,由于双方的交往是长期多次的,采用无偏估计,总的来说是互不吃亏。然而不幸的是,无偏性 有时并无多大的实际意义。这里有两种情况,一种情况是在一类实际问题中没有多次抽样,比如前面的例子中, 厂商和销售商没有长期合作关系,纯属一次性的商业行为,双方谁也吃亏不起,这就没有什么“平均”可言。另 一种情况是被估计的量实际上是不能相互补偿的,因此“平均”没有实际意义,例如通过试验对某型号几批导弹 的系统误差分别做出估计,既使这一估计是无偏的,但如果这一批导弹的系统误差实际估计偏左,下一批导弹则 估计偏右,结果两批导弹在使用时都不能命中预定目标,这里不存在“偏左”与“偏右”相互抵消或“平均命中” 的问题。 我们还可以举出数理统计本身的例子来说明无偏性的局限。 例: 设 X 服从参数为 ? 的泊松分布, X 1 , X 2 ,?, X n 为 X 的样本,用 (?2) 无偏的。因为
X1

作为 e

?3?

的估计,则此估计是

E[( ?2) ] ? e
X1

??

? (?2)
k ?0

?

k

?k
k!

? e ? ? e ? 2 ? ? e ?3?

但当 X 1 取奇数时,(?2)

X1

<0, 显然用它作为 e

?3?

>0的估计是不能令人接受的。 为此我们还需要有别的标准。

2. 最小方差性和有效性 前面已经说过,无偏估计量只说明估计量的取值在真值周围摆动,但这个“周围”究竟有多大?我们自然希

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

望摆动范围越小越好,即估计量的取值的集中程度要尽可能的高,这在统计上就引出最小方差无偏估计的概念。 定义 2 对于固定的样本容量 n ,设 T ? T ( X 1 , X 2 ,?, X n )是参数函数 g (? ) 的无偏估计量,若对 g (? ) 的 任一个无偏估计量 T ? ? T ? ( X 1 , X 2 ,?, X n )有

D? (T ) ? D? (T ' ), 对一切? ? ?
则称 T ( X 1 , X 2 , ? , X n )为 g (? ) 的(一致)最小方差无偏估计量,简记为 UMVUE(Uniformly Minimum Variance Unbiased Estimation)或者称为最优无偏估计量。(For stationary sample capacity n ,let T ? T ( X 1 , X 2 ,?, X n ) is a unbiased estimator of parameter function g (? ) , if for any unbiased estimator of g (? ) ( X 1 , X 2 ,?, X n ),such that

T? ? T?

D? (T ) ? D? (T '), for all ? ? ?
then call T ( X 1 , X 2 , ? , X n )is a Uniformly Minimum Variance Unbiased Estimation of g (? ) ,is abbreviated for UMVUE.) 从定义上看,要直接验证某个估计量是参数函数 g (? ) 的最优无偏估计是有困难的。但对于很大一类分布和 估计来说,我们从另一个角度来研究这一问题。考虑 g (? ) 的一切无偏估计 U ,如果能求出这一类里无偏估计中 方差的一个下界(下界显然存在的,至少可以取0,而又能证明某个估计 T ?U 能达到这一下界,则 T 当然就 是一个 UMVUE. 我们来求这个下界。下面不妨考虑总体为连续型的。 (对于离散型的,只须做一点相应的改动即可) ,简记统 计 量 T ? T ( X 1 , X 2 , ? , X n ) 为 T ( X ) , 样 本 X 1 , X 2 , ?, X n 的 分 布 密 度

? f ( x ;? ) 为
i i ?1

n

f ( x;? ) ; 积 分

? ? ? dx ? dx
1

n

为 dx .又假设在以下计算中,所有需要求导和在积分号下求导的场合都具有相应的可行性。

?

今考虑 g (? ) 的一个无偏估计 T ( X ) ,即有

? T ( x) f ( x;? )dx ? E? T ? g (? )
两边对 ? 求导

? T ( x)


?f ( x;? ) dx ? g ' (? ) ??

(6.5)

? f ( x;? )dx ? 1
上式两边对 ? 求导

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

?
式(6.5)加上式(6.6)乘以- g (? )

?f ( x;? )dx ?0 ??

(6.6)

? [T ( x) ? g (? )]
上式改写成

?f ( x;? ) dx ? g ' (? ) ??

? ? f ( x;? ) ?f ( x;? ) ? ? g ' (? ) ? ? {[T ( x) ? g (? )] f ( x;? )}? ?dx f ( x ; ? ) ? ? ? ? ? ?
用柯西一许瓦尔兹(Cauchy-Schwarz)不等式,即得

? ?f ( x;? ) 1 ? [ g ' (? )] ? ? [T ( x) ? g (? )] f ( x;? )dx ? ? ? ?? ? f ( x;? ) ? ? f ( x;? )dx (6.7) ? ?
2 2

2

其中

? [T ( x) ? g (? )]
2

2

f ( x;? )dx ? D? (T )
2

(6.8)

? ?f ( x;? ) 1 ? ? ? ln f ( x;? ) ? ? f ( x;? )dx ? E? ? ? ?? ? ?? ? f ( x;? ) ? ?? ? ? ?
由式(6.7) ~ 式(6.9)即得著名的克拉美-劳(Cramer-Rao)不等式(简称 C-R 不等式):

(6.9)

? ? ln f ( X ;? ) ? D? (T ( X )) ? [ g ' (? )] 2 E? ? ? ?? ? ?
注意到 X 1 , X 2 ,?, X n 独立同分布,则由
n ? ln f ( xi ;? ) ? ln f ( x;? ) ?? ?? ?? i ?1

2

(6.10)

以及当 i ? j 时,利用式(6.6)

? ? ln f ( X i ;? ) ?? ? ln f ( X j ;? ) ? ? E? ? ?? ? ? ?? ?? ? ?? ? ? ? ln f ( X j ;? ) ? ? ? ln f ( X i ;? ) ? ? ? E? ? ? ? E? ? ? ? ?? ? ? ? ? ? ? ? ? ln f ( X i ;? ) ? ? ln f ( x j ;? ) ? E? ? f ( x j ;? )dx j ?? ?? ?? ? ? ? ? ln f ( X i ;? ) ? ?f ( x j ;? ) ? E? ? dx j ? 0 ?? ?? ?? ? ?
可得

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn
n ? ? ln f ( X i ;? ) ? ? ? ln f ( X ;? ) ? E? ? ? ? ? ? E? ? ?? ?? ? ? ? ? i ?1 2 2

2013-2014 学年 第一学期

? ? ln f ( X 1 ;? ) ? ? nE? ? ? ?? ? ? ? nI (? )
其中 I (? ) = E? (

2

? ln f ( X 1 ;? ) 2 ) 称为费歇 ( Fisher) 信息量(information quantity),于是式(6.10)可简写成 ??
D? (T ( X )) ? [ g ' (? )] 2 nI (? )
(6.11)

式(6.11)的右边称为参数函数 g (? ) 估计量方差的 C-R 下界(lower limit)。还可以证明 I (? ) 的另一表达式,它有时 用起来更方便:

? ? 2 ln f ( X 1 ;? ) ? ? I (? ) ? ? E? ? 2 ? ? ? ? ? ?
定义 3 称 en ?

[ g ?(? )] 2 en ? 1 ) 为 g (? ) 的无偏估计量 T 的效率(efficiency) (显然由 C-R 不等式, . 又 D? (T ( X )) nI (? )
n ??

当 T 的效率等于1时,称 T 是有效(efficient)的;若 lim en ? 1 ,则称 T 是渐近有效(asymptotically efficient) 的。(Call en ?

[ g ?(? )] 2 is efficiency for unbiased estimator T of g (? ) (obviously by C ? R inequality, D? (T ( X )) nI (? )
n ??

en ? 1 ) .When efficiency of T equal1,call T is efficient;if lim en ? 1 ,then call T is asymptotically efficient.)
显然,有效估计量必是最小方差无偏估计量,反过来则不一定正确,因为可能在某参数函数的一切无偏估计 中,找不到达到 C ? R 下界的估计量。我们常用到的几种分布的参数估计量多是有效或渐近有效的。从下面的例 子,我们可以体会出验证有效性的一般步骤。 例:
2

设总体 X ~ N ( ? , ? ) , X 1 , X 2 ,?, X n 为 X 的样本,则 ? 的无偏估计 X 是有效的, ? 的无偏估
2

2

计 S * 是渐近有效的。 证 (i) 由例 6.13,6.14 知, X , S * 分别是 ? 和 ? 的无偏估计。
2

2

(ii) 计算 D( X ) , D( S* ) 易知

2

D( X ) ?
nS 2

?2
n
) ? 2(n ? 1), 从而

又由定理 5.3,

?2

~ ? 2 (n ? 1), D(

nS 2

?2

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

? ? 2 ? nS 2 ? D ( S *2 ) ? D ? ? 2 ?n ?1? ?
(iii) 计算 I ( ? ), I (? )
2

?? ?4 2? 4 ? ? ? 2 ( n ? 1 ) ? ?? (n ? 1) 2 n ?1 ??

? ln f ( X 1 ; ? , ? 2 ) X 1 ? ? ? ?? ?2


? ? ln f ( X 1 ; ? , ? 2 ) ? 1 1 I (? ) ? E ? ? ? 4 D( X 1 ) ? 2 ?? ? ? ? ?


? ln f ( X 1 ; ? , ? 2 ) 1 1 ?? ? (X1 ? ?)2 2 2 4 ?? 2? 2? 2 ? ln f ( X 1 ; ? , ? ) 1 1 ? ? 6 (X1 ? ?)2 2 2 4 (?? ) 2? ?


? ? 2 ln f ( X 1 ; ? ,? 2) ? 1 1 1 I (? 2 ) ? ? E ? ? 4 ? ??? 2 2 4 (?? ) 2? ? 2? 4 ? ?
(iv) 计算效率 en ( X ), en ( S * )
2

en ( X ) ?

1 1 ? 2 ?1 1 D( X )nI ( ? ) ? ?n 2 n ?

en ( S *2 ) ?

1 1 n ?1 ? ? ? 1, n ? ? 2 4 n D( S )nI (? ) 2? 1 ?n n ? 1 2? 4
2 *
2

(v) 故 X 是 ? 的有效估计, S * 是 ? 的渐近有效估计。
2

区间估计部分

1. 区间估计的一般步骤 我们在讨论抽样分布时曾提到过区间估计。与点估计不同的是,它给出的不是参数空间的某一个点,而是一 个区间(域) 。按照一般的观念,似乎我们总是希望能得到参数的一个具体值,也就是说用点估计就够了,为什 么还要引入区间估计呢?这是因为在使用点估计时,我们对估计量 ?? 是否能“接近”真正的参数 ? 的考察是通过 建立种种评价标准, 然后依照这些标准进行评价, 这些标准一般都是由数学特征来描绘大量重复试验时的平均效

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

果,而对于估值的可靠度与精度却没有回答。即是说,对于类似这样的问题: “估计量 ?? 在参数 ? 的 ? 邻域的概 率是多大?”点估计并没有给出明确结论,但在某些应用问题中,这恰恰是人们所感兴趣的,如 例: 某工厂欲对出厂的一批电子器件的平均寿命进行估计,随机地抽取 n 件产品进行试验,通过对试验的 数据的加工得出该批产品是否合格的结论?并要求此结论的可信程度为 95%,应该如何来加工这些数据? 对于“可信程度”如何定义,我们下面再说,但从常识可以知道,通常对于电子元器件的寿命指标往往是一 个范围,而不必是一个很准确的数。因此,在对这批电子元器件的平均寿命估计时,寿命的准确值并不是最重要 的,重要的是所估计的寿命是否能以很高的可信程度处在合格产品的指标范围内,这里可信程度是很重要的,它 涉及到使用这些电子元器件的可靠性。 因此, 若采用点估计, 不一定能达到应用的目的, 这就需要引人区间估计。

? ( ?? ? ?? )所决定的区间[?? , ?? ]作为参数? 取值范围的估计。 区间估计粗略地说是用两个统计量 ??1 , ? 2 1 2 1 2 ? - ?? 不能太大,太大不 显然,一般地这样说是没有多大的意义的,首先,这个估计必须有一定的精度,即是说 ? 2 1 ? - ?? 又不能太小,太小难以保证这一要求。比 能说明任何问题;第二,这个估计必须有一定的可信程度,因此 ? 2 1
如从区间[1,100]去估计某人的岁数,虽然绝对可信,却不能带来任何有用的信息;反之,若用区间[30,31]去 估计某人的岁数,虽然提供了关于此人年龄的信息,却很难使人相信这一结果的正确性。我们希望既能得到较高 的精度,又能得到较高的可信程度,但在获得的信息一定(如样本容量固定)的情况下,这两者显然是不可能同 时达到最理想的状态。通常是采取将可信程度固定在某一需要的水平上,求得精度尽可能高的估计区间。下面给 出区间估计的正式的定义。

? ?? ? ( X , X ,?, X ) ,? ? ?? ? ( X , X ,?, X ) ,满足对给定的 定义 4 对于参数 ? ,如果有两个统计量 ? 1 1 1 2 n 2 2 1 2 n

? ? (0,1) ,有
? ?? ?? ? } ? 1?? P{? 1 2

? ]是 ? 的一个区间估计或置信区间(Confidence Interval), ?? , ?? 分别称作置信下限(Confidence 则称区间[ ??1 , ? 2 1 2
lower limit) 、 置 信 上 限 (Confidence upper limit) , 1 ? ? 称 为 置 信 水 平 (Confidence level) 。 (Suppose

T ( X 1 , X 2 ,?, X n ) is a estimator of g (? ) ,if for any given ? ? 0 ,such that
lim P?T ( X 1 , X 2 , ? , X n ) ? g (? ) ? ? ? ? 0
n ??

then call T ( X 1 , X 2 ,?, X n ) is coincidence estimation of g (? ) .) 这里的置信水平,就是对可信程度的度量。置信水平为 1- ? ,在实际上可以这样来理解:如取 1 ? ? ? 95% ,

? ,? ? ], k =1,2,…,100, 就是说若对某一参数 ? 取 100 个容量为 n 的样本,用相同方法做 100 个置信区间。[ ? 1 2
(k ) (k )

那么其中有 95 个区间包含了真参数 ? .因此,当我们实际上只做一次区间估计时,我们有理由认为它包含了真参 数。这样判断当然也可能犯错误,但犯错误的概率只有 5%. 下面我们来讨论一下区间估计的一般步骤。 1) 设欲估参数为 ? ,先取 ? 的一个点估计 ?? ,它满足两点:一是它较前面提出的标准应该是一个“好的” 估计量,二是它的分布形式应该已知,只依赖未知参数 ? .

上北语网院 进世界学堂

Page 1 of 1

北京语言大学网络教育学院

http://www.eblcu.cn

2013-2014 学年 第一学期

? ,? ? ], 0 ? c ? 1, d ? 1 等等),使得对于 ? ? a, ? ? ? b] , a, b ? 0 ,(或者 [? 2) 所求的区间考虑为 ?? 的一个邻域 [? c d

0 ?? ?1
? ? a ?? ?? ? ? b} =1- ? P{?
(6.22)

且一般要求 a ? b 尽可能小。为确定 a, b(或c, d ) ,须用解不等式的方法将(6.22)式中的随机事件变成类似于下述 等价形式:

??a ?? ?? ? ? b} ? {? g (a) ? T ( X , X ,?, X ;? ) ? g (b)} (6.23) {? 1 2 n
其中, g ( x) 为可逆的 x 的已知函数, T ? T ( X 1 , X 2 ,?, X n ;? ) 的分布与 ? 无关且已知,一般其分位点应有表可 查,这是关键的一步。于是就可得出 g ( a ) , g (b) 为某个分位点,如 g (a) ? c , g (b) ? d . 3) 从 g ( a ) , g (b) 的表达式中解出 a, b 即可。区间估计涉及到抽样分布,对于一般分布的总体,其抽样分布 的计算通常有些困难,因此,我们将主要研究正态总体参数的区间估计问题。 三、下一阶段学习建议 在这一部分大家重点学习数理统计和参数估计, 这些也是考试的必考内容。 大家要熟练掌握它们的性质和计 算方法,为学习假设检验和方差分析做准备。

上北语网院 进世界学堂

Page 1 of 1


赞助商链接
更多相关文档:

北语13秋《大学英语三》导学资料三(英译汉和写作)

北语13秋《大学英语三》导学资料三(英译汉和写作)...关系到全篇文章, 一定要认真考虑好如何写好第一句。...北语13秋《概率论与数理... 暂无评价 28页 免费 ...

北语13秋《大学英语三》导学资料二(词汇与结构和完形填...

北语13秋《大学英语三》导学资料二(词汇与结构完形填空)_英语学习_外语学习_教育专区。一、本阶段学习内容概述 同学们,大家好,现在我们进入第二阶段的学习,这一...

北语10秋《行政法与行政诉讼法》导学资料一(第一章到第...

北京语言大学网络教育学院 http://www.eblcu.cn 2010-2011 学年 第一学期 行政法与行政诉讼法 阶段导学(第章到第五章) 诉讼法 北语 10 秋《行政法与...

北语11秋《大学英语三》导学资料三(英

北语11秋《大学英语三》导学资料三(英_调查/报告_...第一学期 给出解决方案,作到首尾呼应,主题突出,...北语13秋《概率论与数理... 暂无评价 28页 免费 ...

北语11秋《中国古代物质文化》导学资料二(第一章)

北语11秋《中国古代物质文化》导学资料(第章)_农学_高等教育_教育专区。今日推荐 157份文档 2015国家公务员考试备战攻略 2015国考行测模拟试题及历年真题 2015国...

北语13秋《政治经济学》导学资料四(第十四章到第十七章)

北京语言大学网络教育学院 http://www.eblcu.cn 2013-2014 学年 第一学期 北语 13 秋《政治经济学》第四阶段导学一、本阶段学习内容概述 本阶段学习内容包括了...

北语16秋《概率论与数理统计》作业2答案

北语16秋《概率论与数理统计》作业2答案_电大_成人教育_教育专区。16 秋《概率...2 B. 3 C. 5 D. 1 答案:D 满分:5 分 得分:5 13. 在二点分布中,...

北语10秋《中外文化交流史》导学资料四(第11章到第13章)

北京语言大学网络教育学院 http://www.eblcu.cn 2010-2011 学年 第一学期 北语 10 秋《中外文化交流史》第四阶段导学资料 中外文化交流史 阶段导学资料Ⅰ、...

北语10秋《中外文化交流史》导学资料四(第11章到第13章)

《中外文化交流史》导学资料(第11章到第13章)_...在澳門落腳也是經過三四十年與清政 府的反復較量...北语13秋《概率论与数理... 暂无评价 28页 免费 ...

北语16秋《概率论与数理统计》作业3

北语16秋《概率论与数理统计》作业3_管理学_高等教育_教育专区。17 春 16 秋《概率论与数理统计》3 一、单选(共 10 道,共 100 分。 ) 1. 设 X 与 Y...

更多相关标签:
网站地图

文档资料共享网 nexoncn.com copyright ©right 2010-2020。
文档资料共享网内容来自网络,如有侵犯请联系客服。email:zhit325@126.com