公务员期刊网 精选范文 高中数学随机变量及其分布范文

高中数学随机变量及其分布精选(九篇)

高中数学随机变量及其分布

第1篇:高中数学随机变量及其分布范文

【关键词】混合型随机变量分布函数期望方差

中图分类号:O213.2文献标识码:A

0引言

在本科《概率论与数理统计》课程的教材中,绝大多数都是只介绍离散型和连续型随机变量的分布及数字特征,很少有涉及混合型随机变量也称为奇异型随机变量的相关知识,甚至有些教材根本不提及混合型随机变量的存在。而在历年的研究生入学考试题目中曾多次出现混合型随机变量的题目,因而对于准备考研的同学来说有必要掌握混合型随机变量的相关知识。本文通过一些例子来介绍混合型随机变量,并在此基础上介绍混合型随机变量的分布以及如何计算混合型随机变量的期望与方差。

1.混合型随机变量

根据随机变量的取值情况可以将其分成三种类型,离散型随机变量的取值为有限个或可数无穷多个,连续型随机变量的取值为不可数无穷多即可以取得某一区间内的任何值,且连续型随机变量取得它的任一可能值的概率等于零。而混合型随机变量既取得一些离散的值(取这些值的概率大于零),也取得某一区间内的任何值。通俗来讲,混合型随机变量既含有离散部分,也含有连续部分。

例1随机变量X既取得数值0,又取得区间[2,3]中的任何值,且取到数值0的概率P(X=0)=114,在区间[2,3]中取值的概率为P(2≤X≤3)=314。

本例中的随机变量X是混合型随机变量。它有离散部分,因为它取值0的概率大于零。它又有连续部分,因为它的取值充满区间[2,3]。

2.混合型随机变量的分布

混合型随机变量既含有离散部分,也含有连续部分,因此既不能用离散型的分布列来描述其分布,也不能用连续型的概率密度来描述其分布。而只能采用描述随机变量分布的一般方式,即用分布函数来对它的分布进行描述。

例2假设随机变量X取值-1和0的概率分别为P(X=-1)=118,P(X=0)=114,且在区间[1,3]中取值的概率为P(1≤X≤3)=518。在事件1≤X≤3出现的条件下,X在[1,3]内任一子区间上取值的条件概率与该区间的长度成正比,求X的分布函数。

解:随机变量X的取值为-1,0以及区间[1,3],为混合型随机变量。

当x

当0≤x

当1≤x

P(1≤X≤3)=518,且P(1≤X≤x1≤X≤3)=x-112,因此

P(1≤X≤x)=P(1≤X≤3)P(1≤X≤x1≤X≤3)=518×x-112=5x-5116,所以

当1≤x

当x≥3时,F(x)=P(X≤x)=1。所以得X的分布函数为

F(x)=01x

1181-1≤x

31810≤x

5x+111611≤x

11x≥3 。

分布函数描述了混合型随机变量的分布,我们可以通过分布函数求得混合型随机变量取得某个值或取值于某个区间的概率。

3.混合型随机变量的分布函数的分解

理论上,混合型随机变量的分布函数可以分解为一个离散型随机变量的分布函数与一个连续型随机变量的分布函数的线性组合,且满足组合的系数之和为一。即若混合型随机变量的分布函数为F(x),则F(x)=aF1(x)+bF2(x),其中F1(x)为一离散型随机变量的分布函数,F2(x)为一连续型随机变量的分布函数,且a+b=1。

例3例2中混合型随机变量X的分布函数可以分解为F(x)=318F1(x)+518F2(x),其中

F1(x)=01x

1131-1≤x

11x≥0 ,

F2(x)=01x

x-11211≤x

11x≥3 ,

可以看出,F1(x)是一个离散型随机变量的分布函数,其分布列为

X11-110p(xi)11131213而F2(x)是一个服从区间[1,3]上的均匀分布的连续型随机变量的分布函数。

4.混合型随机变量的数字特征

对于一般的随机变量X,设其分布函数为F(x),若斯蒂尔切斯积分∫+∞-∞xdF(x)满足绝对收敛,则X的数学期望存在,且EX=∫+∞-∞xdF(x)。

对于斯蒂尔切斯积分∫+∞-∞xdF(x),由实变函数与泛函分析的知识知道,当F(x)为跳跃函数,在xi(i=1,2,…)具有跳跃度pi时,∫+∞-∞xdF(x)=∑1ixipi;当F(x)存在导数F′(x)=p(x)时,∫+∞-∞xdF(x)=∫+∞-∞xp(x)dx。

例4计算例2中的混合型随机变量X的数学期望。

解: 通过例3可知,例2中混合型随机变量X的分布函数可以分解为F(x)=318F1(x)+518F2(x),其中F1(x)是离散型随机变量X1的分布函数,F2(x)是一个服从区间[1,3]上的均匀分布的连续型随机变量的分布函数,由一般随机变量的数学期望的定义可得

EX=∫+∞-∞xdF(x)=318∫+∞-∞xdF1(x)

+518∫+∞-∞xdF2(x)

=318(-1×113+0×213)+518∫31xd(x-112)

=-118+518×112∫31xdx=918。

若斯蒂尔切斯积分∫+∞-∞g(x)dF(x)满足绝对收敛,则随机变量X的函数g(X)的数学期望存在,且E[g(X)]=∫+∞-∞g(x)dF(x)。同样地,当F(x)为跳跃函数,在xi(i=1,2,…)具有跳跃度pi时,∫+∞-∞g(x)dF(x)=∑1ig(xi)pi;当F(x)存在导数F′(x)=p(x)时,∫+∞-∞g(x)dF(x)=∫+∞-∞g(x)p(x)dx。从而可得随机变量X的方差为

DX=E(X-EX)2=∫+∞-∞(x-EX)2dF(x)

例5计算例2中的混合型随机变量X的方差。

解:由X的分布函数可以分解为F(x)=318F1(x)+518F2(x),则

DX=E(X-EX)2=∫+∞-∞(x-EX)2dF(x)

=∫+∞-∞(x-918)2dF(x)

=318[(-1-918)2×113+(0-918)2×213]

+518∫31(x-918)2d(x-112)

=4511512+518×112∫31(x-918)2dx=3011192

以上关于混合型随机变量的相关知识,可以推广到多维的情况。

参考文献

[1]李少辅,阎国军,戴宁,李俊芬.概率论.北京:科学出版社,2011年5月第1版:68-69,141-151.

第2篇:高中数学随机变量及其分布范文

本文从“概率与统计”的背景和地位、内容与要求以及教学的方法和策略及高考的要求来分析阐述高中“概率与统计”的教学.

一、高中数学新课程概率统计背景和地位

根据中学数学教学课标的要求,概率与统计的内容在新课程中分为必修和选修两部分,其中概率的基础知识为必修部分.选修部分分为文理科两种:文科内容包括:抽样方法,总体分布的估计,总体期望值和方差的估计.理科包括:离散型随机变量的分布列,离散型随机变量的期望值和方差,抽样方法,总体分布的估计,正态分布,线性回归等.这些以前是大学讲授的课程,现如今在中学的教材中出现,充分体现其重要性和实用性. 虽然所讲授的概率和统计内容属于简单部分,但是它为中学生提供了一个很好认识数学应用性的平台,为学生以后进入大学阶段学习提供了一个理想的过度阶梯.

二、高中数学新课程“概率与统计”的内容和特点

1.统计

(1)随机抽样包括简单随机抽样、分层抽样和系统抽样.

(2)用样本估计总体包括频率分布表、频率分布直方图,数字特征,如均值,方差等;用样本的频率分布估计总体分布,用样本的数字特征估计总体的数字特征.

(3)变量的相关性要求利用散点图来认识变量间关系;知道最小二乘法的思想,根据公式建立线性回归方程.

2.概率

(1)随机事件的概念,频率与概率区别与联系.

(2)随机事件的基本事件数和事件发生的概率,互斥事件的概率加法公式,古典概型及其概率计算公式,独立重复实验.

(3)随机数的意义,能运用模拟方法估计概率和几何概型.

3.教材特点

(1)强调典型案例的作用教科书无论在背景材料、例题和阅读与思考栏目的选材上都注意联系实际.

(2)注重统计思想和计算结果的解释.教科书中突出统计思想的解释,如在概率的意义部分,利用概率解释了统计中似然法的思想,解释了遗传机理中的统计规律.统计实验中随机模拟方法的原理就是用样本估计总体的思想.在古典概型部分,每道例题在计算出随机事件的概率后,都给出相应结果的解释或提出思考问题让学生做进一步的探究.

(3)注重现代信息技术手段的应用.由于概率统计本身的特点,统计需要分析和处理大量的数据,概率中随机模拟方法需要产生大量的模拟实验结果,并需要分析和综合实验结果,所以现代信息技术的使用就显得更为必要.

三、“概率与统计”的教学策略

1.突出统计思维的特点和作用

统计的特征之一是通过部分数据来推测全体数据的性质.因此结果具有随机性,统计推断是有可能犯错误的,但同时,统计思维又是一种重要的思维方式,它由不确定的数据进行推理随机事件的基本事件数和事件发生的概率也同样是有力而普遍的方法.因此使学生体会统计思维的特点和作用,教学中应注重通过对数据的分析为合理的决策提供一些依据,以使学生认识统计的作用.

2.统计教学通过案例来进行,并要注重数据的收集

高中阶段统计教学应通过案例的进行,使学生经历较为系统的数据处理全过程来学习一些常用的数据处理方法,从而解决简单的实际问题.同时,具体的案例也容易帮助学生理解问题和方法的实质,更好地帮助学生理解问题.

3.注重对随机现象与概率意义的理解

概率是研究随机现象的科学,概率教学的核心问题是让学生了解随机现象与概率的意义.由于随机实验结果不确定,导致实验之前无法预料哪一个结果会出现,表面看无规律可循,但当我们大量重复实验时,实验的每一个结果都会出现其频率的稳定性.应让学生在实际情境中来体会这一点,可多设案例,多做实验来解决.

四、高考对概率统计部分的考查

第3篇:高中数学随机变量及其分布范文

一、高中数学新课程概率统计背景和地位

2003年5月出台的《普通高中课程标准》提出要将概率与统计作为高中数学课程的必修内容,并提出明确的要求、说明与建议。在我国“, 概率统计”内容从几进几出到如今作为《标准》中的必修内容,这既满足信息时代对数学教学的要求,又是数学新课程发展的必然。高中必修课程由五大模块组成“, 概率与统计”属于模块,在本模块中,学生将在义务教育阶段学习统计与概率的基础上,通过实际问题情境,学习随机抽样、样本估计总体、线性回归的基本方法,体会用样本估计总体及其特征的思想;通过解决实际问题,较为系统地经历数据收集与处理的全过程,体会统计思维与确定性思维的差异。学生将结合具体实例,学习概率的某些基本性质和简单的概率模型,加深对随机现象的理解,能通过实验、计算模拟估计简单随机事件发生的概率。通过对概率统计的学习,学生可以充分体会到数学与我们的日常生活是紧密相连的,这样可以大大激发学生学习数学的兴趣,发展数学应用意识和创新意识,开阔学生的数学视野。虽然所讲授的概率和统计内容属于简单部分,但是它为中学生提供了一个很好认识数学应用性的平台,为学生以后进入大学阶段学习提供了一个理想的过度阶段。

二、高中数学新课程“概率与统计”的内容和特点分析

(一)统计部分内容:这一部分内容有不少于初中阶段所学重复,学生学习起来较轻松,这部分内容包括:(1)随机抽样 、(2)用样本估计总体 ,体会用样本估计总体的思想。(3)变量的相关性 ,这部分初中教学中并未涉及,要求学生利用散点图,来认识变量间的相关关系;知道最小二乘法的思想,根据公式建立线性回归方程。

(二)概率部分内容::这一部分内容在必修和选修中都有涉及,学生刚刚涉及,需要通过一些实例去理解相关概念。

(1)随机事件的概念,频率与概率区别与联系

(2)随机事件的基本事件数和事件发生的概率,互斥事件的概率加法公式,古典概型及其概率计算公式,独立重复试验

(3)随机数的意义,能运用模拟方法估计概率,几何概型

(4)学习某些离散型随机变量分布列及其均值、方差及内容,初步学会利用离散型随机变量思想描述和分析某些随机现象的方法。加深对随机现象的理解,能用随机的观念认识并解释现实世界;能通过实验、计算器 (机)模拟估计简单随机事件发生的概率。

(5)“离散型随机变量”与“样本数据”存在定位上的区别。“离散型随机变量” 与“样本数据” 两者概念不能混为一谈。“离散型随机变量”是由实验结果确定的,“样本数据” 是由抽样方式确定的,导致了两者的差别。

(6)通过实例,理解所有的概念,避免过分注重形式化的倾向。

重点是理解“离散型随机变量及其分布列”、“均值”、“方差”、“正态分布”的概念。

(7)“随机观念”贯穿于这部分内容的始终。

首先要认识离散型随机变量的分布列对刻划随机现象的重要性;其次掌握超几何分布、二项分布是两个非常重要的应用广泛的概率模型。另外正态分布应用更广泛。通过这些“分布” 的学习,初步学会一种方法(即利用离散型随机变量思想描述和分析某些随机现象的方法),形成一种意识(用随机观念观察分析问题的意识)。但“方法” 和“意识”的培养,仍然离不开实例。

(三)高中概率统计的教材特点分析

(1)强调典型案例的作用 教科书无论在背景材料、例题和阅读与思考栏目的选材上都注意联系实际.

(2)注重统计思想和计算结果的解释

教科书中突出统计思想的解释,如在概率的意义部分,利用概率解释了统计中似然法的思想,解释了遗传机理中的统计规律.统计试验中随机模拟方法的原理就是用样本估计总体的思想.在古典概型部分,每道例题在计算出随机事件的概率后,都给出相应结果的解释或提出思考问题让学生做进一步的探究.

(3)注重现代信息技术手段的应用

由于概率统计本身的特点,统计需要分析和处理大量的数据,概率中随机模拟方法需要产生大量的模拟试验结果,并需要分析和综合试验结果,所以现代信息技术的使用就显得更为必要.

三、课程标准要求的具体化和深广度分析

1.如何提高学生对统计的兴趣

高中阶段统计教学应通过案例的进行,在对实际问题的分析中,使学生经历较为系统的数据处理全过程,在此过程中学习一些常用的数据处理的方法,运用所学知识、方法去解决简单的实际问题,体会运用统计方法解决实际问题的基本思想,认识统计方法在决策中的作用以及应用的广泛性。同时,具体的案例也容易帮助学生理解问题和方法的实质。例如:对于“最小二乘法”的学习,如果直接介绍一般的最小二乘的方法,学生往往体会不到这种方法的实质,也失去了一个分析问题、处理数据的机会。教学中,可以通过一个学生感兴趣的实例,比如学生身高和体重的关系,让学生收集到的数据做出散点图,利用散点图直观认识到变量之间存在着线形相关关系,然后鼓励学生自己想办法确定一条“比较合适”的直线描述这两个变量之间线形相关关系,在此基础上再引入最小二乘法,并给出线形回归方程。所以教师平时要细心收集生活中的素材、广泛涉猎各学科知识,更多地发动学生自己发现问题,以此积累案例开展统计教学,展示统计的广泛应用。

2.如何理解“取有限值的离散随机变量及其分布列” 的含义。

(1)通过实例比较并体会“离散型随机变量” 与“随机变量” 的区别。

若随机变量X至多可以取可数个值,则称X为离散型随机变量。

设X为离散型随机变量,其可能取值为x1x2……,则

pi=P(X=xi),i=1,2,3……

完全地描述了随机变量X的取值规律,称它为X的概率分布列。

例1:问题1 掷一枚均匀硬币,以X表示一次掷币过程中出现正面的次数,试求X的分布列。

思考:a、某人掷币一次的实验中,可能出现的结果(基本事件)是什么? b、为什么可以由0,1这2个数字表示实验中可能出现的结果?

分析:因为实验中的可能出现的结果自然的对应着一个实数,根据这种对应关系,我们可以用结果对应的数量表示它。如0表示出现反面,1表示出现正面。

例2:问题2 某林场树木最高达到30米,林场树木的高度η一个随机变量。①随机变量η可以取那些值?②问题1中的命中环数ξ与问题2中的树木的高度η这两个随机变量取值有什么不同?

第4篇:高中数学随机变量及其分布范文

【关键词】Excel;正态分布;函数;统计

正态分布是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重要的作用。生产与科学实验中很多随机变量的分布,尤其是测量误差的分布大多可以用正态分布来描述。例如,同一种生物体的身长、体重等指标;同一种种子的重量;某个地区的年降水量;以及理想气体分子的速度分量等等,其数据分布都属于正态分布。在科学研究及数理统计分析过程中,人们往往要通过某本概率统计教材附录中的正态分布表去查找某一区间点的正态分布值,非常麻烦。若手头有计算机,并安装有Excel软件,就可以利用Excel的NORMDIST和NORMSDIST(x)函数进行计算某分位数点的正态分布概率值,或建立一个正态分布表,既准确又方便。

一、正态分布及其应用

正态分布(normal distribution)又名高斯分布(Gaussian distribution),是一个在数学、物理及工程等领域都非常重要的概率分布,在统计学的许多方面有着重大的影响力。若随机变量X服从一个数学期望为 、标准方差为 2的高斯分布,记为N( , 2)。其概率密度函数呈曲线钟形,由正态分布的期望值 决定了其位置,其标准差 决定了分布的幅度。通常用得最多的标准正态分布是 =0, =1的正态分布。

在统计学和数据处理中都能看到正态分布的影子。一般来说,自然界中的很多现象都可以用正态分布解释。比如说子弹的弹着点散布,学生的考试成绩等等。一般实验中的随机误差,大多数呈现为正态或近似正态分布;有些指标(变量)虽服从偏态分布,但经数据转换后的新变量可服从正态或近似正态分布,可按正态分布规律处理。

二、利用Excel计算正态分布函数

1.Excel软件中的NORMDIST()函数。利用Excel软件中的NORMDIST()函数可以返回指定平均值和标准偏差的正态分布函数。该函数的语法格式为:NORMDIST(x,mean,standard_dev,cumulative)其中各参数意义如下:X为需要计算其分布的数值;Mean为分布的算术平均值;Standard_dev为分布的标准偏差;Cumulative为为一逻辑值,指明函数的形式。如果cumulative为TRUE,函数NORMDIST返回累积分布函数(即从负无穷大到公式中给定的X的积分);如果为FALSE,则返回概率密度函数。

2.利用NORMSDIST()函数计算标准正态分布函数值。在Excel中,使用NORMSDIST()函数可以得到标准正态分布( =0, =1)函数值,其意义为从标准正态分布的左边开始,累加到z值处的总面积(概率)。函数格式:NORMSDIST(z)

如已知z,求标准正态分布函数值,即仅需计算一个值,比如z=1.96,可在Excel的任一单元格中使用公式进行计算,在单元格中输入:“=NORMSDIST(1.96)”,回车后即可得到0.9750(此单元格的格式保留小数位为4)。

若想生成z值为0-4.99间的标准正态分布表。行间按0.1增加,列间按0.01增加。可在A3单元格输入0,A4单元格输入0.1,选中A3、A4两单元格,向下拖动填充柄,自动填充值至4.9。同理在B2单元格输入0,C2单元格输入0.01,选中B2、C2两单元格,向右拖动填充柄,至K2单元格。下面各单元格中,z值=行值+列值。

为保证A列值都具有一位小数,需要统一设定该列单元格的格式。选中第一列,单击“格式”/“单元格”,在单元格对话框中选择“数值”,小数位数为1,以保证所有的数都是1位小数。同样方法设定第2行都有2位小数。

在B3单元格中,输入公式为=NORMSDIST($A3+B$2)

这里,B3单元格公式中使用了混合地址引用,$A3中,$A表示锚定了A列,以保证不管该单元格的公式复制到哪里,都使用A列的值,因为行前没有$符号,表示行号随着行的变化而变化;B$2锚定了第2行,列号没有锚定,表示随着单元格横向的移动能相应地改变列号,而行号始终为2。即不论该公式复制到哪里,其值都为该行A列值同时加上该列第2行的值。回车后显示函数值为0.5。选中B3单元格,向右拖动填充柄,至K列,再向下拖动填充柄,则能得到最大z值为4.99的函数值。

这样得到的函数值小数位数不统一,需要统一设定单元格的格式。选中B3为左上角,Kn(n为数据区的最下一行的行号)为右下角的整块区域,单击“格式”/“单元格”,在单元格对话框中选择“数值”,小数位数设为4,以保证所有的数都是4位小数。

Excel软件包含丰富的函数,灵活准确的使用其中的函数可以更有效的完成数据处理。本文主要针对数据处理和统计过程中常用的正态分布表的查找方法提出了一种新的思路,即采用NORMSDIST()函数查找标准累积分布函数值或NORMDIST()非标准正态累积分布函数值及概率密度函数值。此方法较传统的手工查找分布表更快速,更准确,只要计算机中安装有常用的Excel软件,就可以高效地完成数据处理及统计分析的工作。

参考文献:

[1]杨世莹.Excel2002函数、统计与分析应用范例[J].中国青年出版社,2003(10).

第5篇:高中数学随机变量及其分布范文

关键词:教学质量评价;混合效应模型;贝叶斯分层模型;MCMC算法

中图分类号:G434 文献识别码:A 文章编号:1001-828X(2017)007-0-03

一、引言

随着高等教育的发展,高校教学质量评估深入展开,教学质量越来越引起人们的重视,而关于大学教师教学评分的研究也越来越受到重视。然而,在实际中对教师的教学效果进行评估时会受到多方面因素的影响,一般认为最主要的因素是教师教学质量的好坏。但不可否认的是,还有一些因素也会影响到学生对教师教学质量的评估,如教师的个人特征、学科的差异、不同年级,以及师生间认知方式等。但是,关于这些因素的影响研究基本上是对教评体系进行定性的,简单的描述,而定量的实证研究结果较少。而且由于教评的复杂性,采用简单的定性方法,要做出令人信服、满意的评价似乎很困难,另一方面,简单的定量方法则可能更加脱离实际性。

总之,教评的合理性是教评体系中的重中之重,如何设计出一套科学的教评体系是高校教育工作者们所关心的问题。本文在前人的研究基础上,利用科学的定量模型,试图找出可能的影响因素,以期进一步分析影响学生教评的关键因素,最后根据实证结果进行分析并提供相应的意见与建议。

二、研究方法

1.贝叶斯推断与MCMC算法

由贝叶斯定理发展而来的统计理论被许多统计学家发展为一种全面的统计推断理论,称为贝叶斯理论。贝叶斯理论的核心观点是认为总体的参数服从某一个先验分布,它是在进行推断时一个必不可少的信息。贝叶斯推断的过程是利用样本的分布以及总体的先验分布,根据贝叶斯公式计算得到总体的后验分布,后验分布则被认为包含了样本信息以及先验信息。

但是,贝叶斯统计分析面临的最大挑战就是对后验信息的计算,因为后验信息的推断往往涉及到对多维积分的数值计算,如以下形式的积分:

其中f(x)是一个高维空间中的目标函数,而传统的方法是难以计算多维积分的,这一直限制着贝叶斯方法的发展。随着计算机科学的进步,其中马尔科夫蒙特卡洛算法(MCMC)的应用使得贝叶斯理论在过去的几十年得以迅速应用。

MCMC的基础理论为马尔科夫过程。在MCMC算法中,为了在某一个指定的分布上采样,根据马尔科夫原理,首先从任一状态出发,模拟马尔科夫过程,不断进行转移,最终收敛平稳分布。它的基本思路是,对于一个给定的概率分布P(X),若是要得到其样本,我们可以构造一个转移矩阵为 的马尔科夫链,使得该马尔科夫链的平稳分布为P(X)。现如今,MCMC已经是解决高维统计问题时必不可少的工具,它可以获得一条或许多条收敛的马尔科夫链,该马氏链的极限分布即为总体参数的后验分布。

2.贝叶斯分层回归模型

一般的线性混合效应模型假设模型里一部分系数具有随机效应,另外一部分具有固定效应,考虑到了观测值不一定来自于同一总体,但是却没有充分利用观测值的先验信息。贝叶斯分层线性回归模型即假设所有随机的系数服从某个分布(一般是正态分布),并且假设分布中的所有未知参数都服从某个先验分布,充分利用先验信息,由此建构更为合理的模型。

一般贝叶斯分层线性回归模型可以用如下公式表述:

其矩阵形式为:

其中y代表因变量,一共有i组水平,每组水平有ki个观测值。β0是固定效应截距, b0i是第i组水平的随机截距,并有p个解释变量具有固定效应,有q个解释变量具有随机效应, εi是每组水平测量误差(其不必服从独立同分布条件,即对ε没有Var(ε)=σ2及Cov(εi,εi)=0的假定)是一个ki维的向量。

在矩阵形式中,X为固定效应矩阵,是一个ki×p维的矩阵, Z为随机效应矩阵,是一个ki×p维矩阵。贝叶斯混合效应模型要求对所有参数都设置先验分布,其中

误差的方差σ2的先验分布为逆伽马分布,

假定系数的先验分布为多元正态分布,

随机效应系数的协方差矩阵Σ服从逆Wishart分布,即:

Σ~IWishart(r,R)

同时假定超参数的先验值为无信息量的先。已知先验分布和条件概率函数,由贝叶斯公式,可以写出其后验分布的密度函数形式,由于篇幅限制,本文不这里进行推导。

三、实证与分析

1.数据说明

本文的数据选取于得克萨斯大学奥斯汀分校(University of Texas at Austin)在2000~2002年的一份针对教职人员教学质量评价影响因素的研究。数据总共包含了463个班级评分(观测值),分别描述了94个教师(即94个水平),每个教师所教授的班级数有所不同,变量的描述性统计见表1。数据可由R软件中AER安装包里的数据集: 获得。

2.模型建立

(1)经典线性回归模型

经典线性回归模型的一般形式为:

其中i=1,2...,94。εi相互独立同分布,E(εi)=0,且Var(εi)=σ2,则有εi~N(0,σ2)。以上假设保证了各观测值来自于同一总体,即自变量没有随机误差,它对因变量的作用效应是固定的。拟合简单线性模型,并用最小二乘法进行估计, 得到模型一的各系数估计如下表所示:

Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘

分析上表,可以得出:①教学评分与教师外貌评分的统计关系最为显著,并且呈正相关,即外貌评分越高的教师更易获得更高的教学评分;②课程学分越低,教师获得的评分相对较高;③而女性教师,黑人教师,母语非英语的教师以及获得终身职称的教师的教学评分相对较低;④年龄差异,学生年级差异则对教评无显著影响。图1展示了beauty与eval的关系,直线为回归拟合曲线,可以直观的看出随着教师外貌评分的提高,教学评分也相应提高。

系数保留两位小数得到的回归模型如下:

其中i=1,2...,94。

(2)贝叶斯混合效应模型

与线性混合效应模型有所不同,贝叶斯分层回归模型假设教师的外貌评分变量B1服从正态分布,并且假设其参数服从某一先验分布。其先验分布形式已在前文陈述,并且先验分布的参数采用无信息先验,可由R语言安装包MCMCpack中函数dwish和rwish计算得出。将B1作为随机效应,将X1,X2,X3,X4,X5,X6,X7作为固定效应,教学评分Y作为因变量,得模型二的表达式如下:

其中i=1,2...,94分别对应94位教师,j=1,2...,nj分别对应于第 i个教师的第j次观测值,β0为固定效应截距,b1i为随机效应的系数, b0i为随机截距, εij为误差项。

根据上述数据,在R语言中利用安装包MCMCpack中MCMChregress函数对模型进行估计。由于贝叶分层线性回归模型对每个水平下的随机效应变量都进行估计,于是分别得到94个随机截距和变量B1的估计值和8个固定效应变量估计值,共计192个估计值,即估计出每个教师所在水平下对应的模型。

需要注意的是,在对于任何一个以MCMC为基础的贝叶斯模型的估计中,关于模型的收敛性的检验都是必不可少的。而一个MCMC模型达到收敛,是指模拟的结果来源于所构造的马尔科夫链的平稳分布或目标分布。下图反映了随着抽样迭代次数的增加截距项的平稳性以及密度函数状态。由图2可以直接看出,在进行抽样迭代200次之后,马氏链仍未收敛,而在抽样迭代1000次以后,则可以认为马氏链达到平稳收敛状态,并且截距项的密度函数近似服从正态分布。

可以得到模型二的表达式如下:

由于模型二得到的估计值太多,在这里便不再一一列出,我们分别计算随机截距和变量B1的94个估计值平均值来与模型一进行比较。其中: =0.01622,=0.20378。

下图显示的是模型二的预测评分与原始评分的拟合情况,可以看出预测评分与原始评分拟合效果较好。

(3)结果分析

下表显示了模型一,模型二的各参数对比情况:

由上表可以看出:模型二中的beauty系数远小于模型一。这是由于贝叶斯分层模型将所有教师分别看作94个水平,对于每一层建立模型。即认为同一层次下的观测值是相互联系的,所以对于每一位教师,其beauty系数相同。而不同层次之间的观测值是相互独立的,其间的差异性由随机截距中和,而beauty系数的减小则可以降低因教师外貌评分引起的误差。

总的来说,由比较结果可以看出,应用贝叶斯分层模型分别对变量B1及其随机截距进行估计,得到的模型二较优。可认为贝叶斯方法综合了先验数据和实际教师外貌评分,起到了减小误差的作用。

四、结论与建议

本文首先简述了贝叶斯统计分析、MCMC方法的基本思想,以及贝叶斯分层模型的性质和一般形式,随后分别建立两个模型进行理论研究及比较,最后进行实证。证明了贝叶斯分层线性回归方法比经典的线性回归更加适用于分层数据。本文的意义在于从理论和实证讨论了贝叶斯分层线性回归模型,对教学质量评价影响因素的分析有着重大意义。

通过以上的模型分析与研究,可以得出以下结论:

(1)教师外貌评分对教评有显著影响,即教师外貌会影响到学生的主观评分倾向,从而影响教评结果。

(2)课程学分越低,学生对教师的教学评分越高。即课程越重要,学生在给教师评分时会降低教评分数。

(3)总的看来,教师的籍贯会对学生教评产生较大影响。其中母语为英语的教师更加受到学生的喜爱,评分较高。

(4)值得注意的是,黑人教师的相对评分较低。由此可以看出学生对于黑人教师的评分可能存在肤色歧视。

(5)教师的年龄和学生的年级高低对于教评无较大影响。

针对以上结论,本文给出以下建议:

(1)不可否认,教评是一种带有感情化的评分,学生在教评过程中,难免会受到心理,感情上的主观因素影响,导致对教师授课质量的评估出现误差。例如教师的外貌越好看就越容易受到学生的喜爱,而黑人教师可能受到学生的歧视等。为减少学生主观因素造成的误差,建议在教评工作前对学生进行培训,讲明评估的意义和重要性,让学生能真实地反映实际情况。

(2)培养学生的学习兴趣。学生倾向于对学分较高的课程打较低的分数,这可能是由于课程的难易程度,考试成绩等因素影响的。而如果学生对所学的课程感兴趣,那么其相应的学习态度和学习动力都会对教评产生影响。

(3)选择有效的评估工具,进行科学的结果分析。有效合理的教评系统是能否真实检测教学质量的关键,开发或选择合适的评估工具对提高整个评估系统的精确性具有重要意义。科学的结果分析避免了结论的主观性,使得教评结果更加具有说服力。

参考文献:

[1]黎荆,黎莉,波.普通高校学生评价教师教学质量影响因素的实证分析[J].教育管理,2007(7).

[2]党晶.高校教师教学绩效评价的影响因素分析----基于学生教评的实证研究[J].上海管理科学,2013(6).

[3]曹诗诺,苏宇楠,田茂再.基于分层线性模型的贝叶斯推断及其应用[J].统计与决策,2015(3).

[4]陈高.基于MCMC模拟的贝叶斯分层模型及其应用[J].科教导刊电子版,2015(4).

[5]朱丽叶.分层模型与贝叶斯方法[J].暨南大学,2012.

[6]张小乐.贝叶斯统计理论的基本观点与研究现状[J].经管视线,2010(33).

[7]Wang S G and Yin Suju. A new estimate of the parameters in linear mixed models. Science in China(Series A) Vol.45,No,10.

[8]Greert Verbeke,Greert Molenberghs. Linear Mixed models for Longitudinal Data.Spring,New York,2000.

第6篇:高中数学随机变量及其分布范文

1. 随机抽样

(1)了解随机抽样的意义.

(2)会用简单随机抽样方法从总体中抽取样本,了解分层抽样和系统抽样方法.

2. 总体估计

(1)了解分布的意义和作用,会列频率分布表,会画频率分布直方图、频率折线图、茎叶图,理解它们各自的特点.

(2)理解样本数据标准差的意义和作用,会计算数据标准差及方差.

(3)能从样本数据中提取基本的数字特征(如平均数、标准差),并作出合理的解释.

(4)会用样本的频率分布估计总体分布,会用样本的基本数字特征估计总体的基本数字特征,理解用样本估计总体的思想.

(5)会用随机抽样的基本方法和样本估计总体的思想,解决一些简单的实际问题.

3. 事件与概率

(1)了解随机事件发生的不确定性和频率的稳定性,了解概率的意义,了解频率与概率的区别.

(2)了解互斥事件、对立事件的意义及运算公式.

4. 古典概型

(1)理解古典概型及其概率计算公式.

(2)会计算一些随机事件所含的基本事件数及事件发生的概率.

5. 概率分布

(1)理解取有限个值的离散型随机变量及其分布列的概念,了解分布列对于刻画随机现象的重要性.

(2)理解两点分布和超几何分布的意义,并能进行简单的应用.

(3)了解条件概率和两个事件相互独立的概念,理解n次独立重复试验的模型及二项分布,并能解决一些简单的实际问题.

(4)理解取有限个值的离散型随机变量均值、方差的概念,能计算简单离散型随机变量的均值、方差,并能解决一些实际问题.

(5)利用实际问题的直方图,了解正态分布曲线的特点及曲线所表示的意义.

图1

命题解读 本题以频率分布直方图的形式给出样本数据的信息,首先需要看懂直方图,会从图中获取有用的信息,再用样本中成绩小于60分的学生比重,估计总体中成绩小于60分的学生数. 本题主要考查我们从图表获取信息的能力和如何用样本估计总体的方法.

完美解答 直方图中位于横轴成绩60分左侧的矩形面积之和为样本中成绩小于60分的学生比重,即S=(0.002+0.006+0.012)×10=0.2,则3000名学生在该次数学考试中成绩小于60分的学生数是3000×0.2=600人. (2011天津)学校游园活动有这样一个游戏项目:甲箱子里装有3个白球、2个黑球,乙箱子里装有1个白球、2个黑球,这些球除颜色外完全相同. 每次游戏从这两个箱子里各随机摸出2个球,若摸出的白球不少于2个,则获奖. (每次游戏结束后将球放回原箱)

(1)求在1次游戏中,

①摸出3个白球的概率;

②获奖的概率.

(2)求在2次游戏中获奖次数X的分布列及数学期望EX.

命题解读 本题主要考查古典概型及其概率计算公式、离散型随机变量的分布列、互斥事件和相互独立事件等基础知识,考查运用概率知识解决简单的实际问题的能力.

完美解答 (1)①设“在1次游戏中摸出i个白球”为事件Ai(i=0,1,2,3),则

1. 研究《考试说明》,把握考试要求

《考试说明》确定了考查的具体知识内容,而且对考查的知识提出了明确的层次要求,同时明确了对能力的要求和需考查的数学思想方法.只有认真研究《考试说明》,我们才能制定相应的复习方法和策略,做到复习既不超纲,又能有针对性、有重点,切实提高复习的效率.

2. 夯实基础,优化知识网络

统计概率试题在高考中的难度属于中等,复习时要以课本概念为主,以熟练技能、巩固概念为目标,重视基础知识的理解和掌握,查找知识的缺漏之处,优化已有的知识网络.同时,梳理和掌握在概率计算等常见问题中遇到的有关排列组合知识,在此基础上突出知识的主干,强调中心问题,做到全面细致,找到解各种题目的突破口,不断总结规律,提高分析问题、解决问题的能力.

3. 倡导通法,渗透数学思想方法

概率统计问题源自生活,可以说是千变万化,复习过程中要避免题海战术,在准确理解相关概念,熟记相关公式的基础上,及时总结、归类常用的解题方法;同时,数学思想方法作为数学的精髓,历来是高考数学考查的重中之重.它蕴涵在数学知识发生、发展和应用的全过程.概率统计蕴涵着丰富的数学思想方法,如分类讨论、逆向思维等.

4. 联系实际,突出概率统计的应用功能

由于新课程强调数学教育的基础性、现实性、大众性,重视素质教育与高考的兼容性,概率统计在社会现实中具有很高的应用价值.在复习中要关注生活背景、社会现实、经济建设、科技发展等各个方面,并从中提炼出具有社会价值的数学应用背景. 注意提升从普通语言中捕捉信息、将普通语言转化为数学语言的能力,能以数学语言为工具进行数学思维与数学交流.

第7篇:高中数学随机变量及其分布范文

1教学中适当引入数学史内容,从而激发学生学习兴趣,收到事半功倍的效果

一堂成功的数学课是有血有肉的,不仅仅是充满了逻辑性,包括定理以及证明,还应该富含生动的引例,活生生的人物,以及那激动人心的重要数学发现。相信生动的、激动人心的事情总是令人记忆深刻的。概率论的起源———关于一场赌金的风波可以作为绪论课别开上面的开场白。梅勒和赌友打赌,各押赌注32枚金币,谁先掷出3次6点谁就赢。一段时间后,梅勒掷出两次6点,对方掷出一次6点,这时梅勒有事中断。那么,两人应该怎样分配赌金?学生在感慨一门学科有了这么不光彩的出身的同时,也在暗暗思索如何更加合理的分配这笔赌金,从而开始进入第一章的学习,在结束第一章的时候,答案也即将揭晓。在讲到概率的公理化定义的时候,很多学生觉得莫名其妙,难于理解,这时可以插入法国数学家贝特兰的概率悖论:在圆内任作一弦,其长度超过圆内接等边三角形边长的概率是多少?从而引出了三个不同的结论。面对这样可怕的漏洞,科学家们发起了一场对概率基础理论的“攻关”战,终于在1933年被前苏联数学家柯尔莫哥夫攻克,建立了概率的公理化定义。这就要求教师本身做一个有心人,多搜集一些数学史上的典故,以及数学家轶事,在课堂中适当的引入,从而激发学生的学习兴趣,收到事半功倍的效果。

2课堂上重视复习环节,为学生顺利掌握新知识铺平道路

独立学院学生中有很大一部分没有独立学习的习惯,对教师的依赖性极强,不独立完成作业,课后不及时复习。因此,课堂上就不会有好的教学效果。那么,针对学生这些特点,一方面教师督促学生培养好的数学习惯(见四),另一方面就要讲求教学方法,以及教学内容的设置。复习环节就显得至关重要,它起到了了承上启下的作用。每次课都要用15—20分钟的时间对上次课的内容予以总结和回顾,也包含新课需要的以往知识点的回顾。例如讲到“随机变量分布函数”这一节时,就需要复习高等数学相关知识,如无穷限积分定义以及计算,积分区间可加性等学生容易遗忘的内容。在讲解“区间估计”这一节时,一定要引入一个习题,复习未知参数的最大似然估计量,再展开新知识点的教学,这并非是在浪费时间,而是针对学生的特点,因材施教,这样才能取得相对较好的教学效果。

3授课内容条理清晰,重点突出,做题步骤明确

如何在有限的教学时间内让学生记住最重要的知识,就需要教师授课内容条理清晰,重点突出。如在讲授“随机变量函数的分布”这一节时,关于连续型随机变量函数概率密度的求法,书上的定理内容繁琐,不便于学生记忆,笔者按照步骤作以总结。(一)适用条件:函数y=g(x)单调、可导,导数恒不为零。(二)计算步骤:①求反函数x=h(y)②求反函数的导数h'(y)③求值域a<y<b④套公式fY(y)=fXh(y)h'(y),a<y<b0,其,它按照步骤做题,学生按部就班,比较容易理解和记忆。又如在讲解连续型随机变量边缘概率密度的求法的时,如已知联合概率密度f(x,y),求关于X的边缘概率密度f1(x),我总结了“两个范围”,即(1)x介于两个常数之间(2)积分变量y的上下限的确定(用含x的表达式)。这样就不容易混淆,学生可以较顺利的完成题目。

4教师有意识培养学生良好的数学学习习惯

良好的学习习惯将影响人的一生,教师应该在教学中及时纠正学生不良的学习习惯,灌输教导正确的习惯,包括课前预习,课堂上做笔记,课后独立完成作业,有问题及时解决等。在课堂讲授知识的时候,遇到重要的定理,以及教师作以的总结等重要的地方,不妨停顿一下,留一些时间强行让学生记笔记,或者记到教材指定的位置上。关于课后作业,很多学生参考课后题解,缺乏独立思考的过程,针对这种情况,教师对真正独立完成作业或者有奇思妙解的同学在课堂上给予表扬,在平时成绩中也相应的加分以资鼓励,对于有严重抄袭现象的学生,平时成绩要相应扣分,以示惩罚。教师不妨向学生推荐一些数学方面的科普书籍,让学生从读书的过程中培养对数学的兴趣,从而变被动学习为主动学习。

5联系实际生活,分类处理习题,培养学生应用能力和创新能力

第8篇:高中数学随机变量及其分布范文

关键词: 受限玻尔兹曼机; 深度模型; 隐藏单元; 学习方法

中图分类号:TP391 文献标志码:A 文章编号:1006-8228(2014)11-10-04

RBM learning method comparison

Lu Ping, Chen Zhifeng, Shi Lianmin

(Dept. of Information, Suzhou Institute of Trade & Commerce, Suzhou, Jiangsu 215009, China)

Abstract: With the deep learning on the breakthrough of models, algorithms and theory studies, models based on Boltzmann machine have been used in many areas in recent years, such as target recognition and natural language processing. The concept of Boltzmann machine is presented. The restricted Boltzmann machine's advantage is also pointed out. In this paper, the learning method of RBM is described in detail and some typical learning algorithms widely used are compared. The study on learning algorithms will still be a core issue in deep learning area.

Key words: RBM; depth model; hidden units; learning method

0 引言

当前深度学习(deep learning)作为机器学习中新兴的代表,由于其具有能够处理大规模的数据、自动提取有意义的特征、完成数以百万计的自由参数的学习等诸多浅层模型所无法匹敌的能力,而受到各领域的广泛关注。目前深度学习模型已经被逐渐应用于图像分类、目标识别、自然语言处理、数据挖掘等各类应用中。当前的深度模型,如深度信念网络(deep belief net,DBN)、深度玻尔兹曼机(deep Boltzmann machine, DBM)等均采用的是由受限玻尔兹曼机(restricted Boltzmann machine,RBM)堆叠而成。在RBM中,可见层各单元之间与隐藏层各单元之间无连接的拓朴结构使得其模型相对简单,参数学习相对容易,因此使用RBM作为构建深度模型的基础结构单元成为研究人员的最佳选择。虽然深度学习模型还有堆叠自动编码器(stacked auto encoders)、卷积神经网络(convolutional neural net,CNN)等,但由于以RBM为核心的结构在深度模型中占据着核心的地位,因此本文主要关注于RBM的模型结构与其中的学习方法。

1 玻尔兹曼机概述

1.1 玻尔兹曼机

玻尔兹曼机(Boltzmann machine, BM)是源于物理学的一种基于能量函数的建模方法,能够描述变量的高层相互作用。虽然BM中学习算法复杂,但其模型与算法有完备的物理解释与数理统计理论基础。Hinton与Sejnowski最早将BM模型引入人工神经网络中,用于自动提取数据的内在特征表示。将BM作为单层反馈网络时,具有与Hopfield网络类似的对称权值,且每个单元与自已无连接。网络由可见层与隐藏层组成,对应的网络节点也可以分为可见单元(visible unit)与隐藏单元(hidden unit),每个单元不存在自回路,图1给出了BM的示意图。

图1 BM模型结构示意图

由于其中样本分布服从玻尔兹曼分布故命名为BM ,BM由二值单元构成,各单元的状态随机,且只可取0或1两种状态,1指代单元处于激活(on)状态,0则指代此单元处于断开(off)状态。由于每个单元仅有2种状态si={0,1},因此网络的总的能量函数为:

其中wij为神经元i与j之间的连接权重,θi为神经元i的阈值。神经元i状态为0与1所产生的能量的差值则可表示为:

si=1的概率为:

其中T为系统的温度。相应的,si=0的概率则为:

由式(3)/式(4)可得:

进一步将上式推广到网络中任意两个全局状态α与β,有:

此即为玻尔兹曼分布的表达式。

1.2 受限玻尔兹曼机

由于BM的模型结构复杂,学习时间很长,而且无法确切地计算BM所表示的分布,甚至获得BM表示分布的随机样本也非常困难。为此,Smolensky提出了受限玻尔兹曼机(restricted Boltzmann machine, RBM)模型,其结构如图2所示。与一般BM相比,RBM具有更优的性质:在给定可见层单元输入时,各隐藏层单元的激活条件独立;反之亦然。这样尽管RBM所表示的分布仍无法有效计算,但却可以通过Gibbs采样获得服从RBM分布的随机样本。

图2 RBM模型结构示意图

RBM也可以被看作为一个无向图(undirected graph)模型,其中v为可见层,用于表示输入数据,h为隐藏层,可以看作为特征提取器,W为两层间对称的连接权重。若一个RBM中可见层单元数为n,隐藏层单元数为m,用向量V与h分别表示可见层与隐藏层的状态,当状态(v,h)给定时,与BM类似,则RBM中的能量定义为:

其中wij为可见单元i与隐藏单元j之间的连接权重,ai为可见单元i的偏置,bj为隐藏单元j的偏置。θ={wij,ai,bj}指代RBM中所有参数集。当θ确定时,则可根据式⑺的能量函数获得(v,h)的联合概率为:

其中z(θ)为保证P(v,h|θ)成为概率分布的归一化项,也称为划分函数。若可见单元服从某种概率分布,根据RBM的给定可见单元时各隐藏单元激活状态独立的条件,可获得隐藏单元为1的条件概率为:

同理,若令隐藏单元服从某种概率分布,可见单元向量v为1的条件概率分布为:

(10)

因此可以获得在给定可见单元向量v时隐藏单元j的条件概率及给定隐藏单元向量h时可见单元i为1的条件概率分布为:

(11)

其中,为sigmoid激活函数。

2 RBM中的学习

为了学习RBM中的参数集θ,以拟合给定的训练数据,可以通过最大化RBM在训练集上的对数似然函数而获得,假设训练集中样本数为T,有:

(12)

这样获得最优的参数θ*则可以采用随机梯度上升法求得使的最大值,为此,对logP(v(t)|θ)求参数θ的偏导数有:

(13)

其中为求关于分布P的数学期望。由于训练样本已知,所以上式中前一项期望易求得,但对于P(h,v|θ)需要求得隐藏单元与可见单元的联合分布,由于划分函数Z(θ)的存在,无法直接计算,而只能采用一些采样方法获得其近似值。若分别用与指代P(h|v(t),θ)和P(h,v|θ)分布,则对式(13)中关于连接权重Wij,可见单元偏置ai和隐藏单元偏置bj的偏导数分别为:

(14)

RBM的学习过程可以分为正阶段与负阶段两个步骤。在正阶段,可见单元状态取训练输入样本值,经采样得到隐藏单元。在负阶段中,从当前模型采样得到可见单元与隐藏单元状态,重建可见单元状态。BM的学习即通过调节连接权重,使得模型定义的概率分布P-(va)与训练样本集定义的概率P+(va)一致,如果采用K-L散度度量两个概率的近似程度:

(15)

当且仅当P+(va)=P-(va)时,G=0,即两个分布完全一致。这样可以通过不断调节连接权重来使模型确定的概率分布与数据概率分布的K-L散度尽可能接近。RBM的学习步骤如下:

⑴ 随机设定网络的初始连接权重wij(0)与初始高温;

⑵ 按照已知概率P(va)依次给定训练样本,在训练样本的约束下按照SA算法运行网络到平衡状态,统计,同样在无约束条件下按同样的步骤运行网络相同次数,统计;

⑶ 修改各个连接权重:wij(k+1)=wij(k)+Δwij。

重复上面的步骤,直到-小于某个阈值,获得合适的权重。

3 RBM学习方法对比

当前在对RBM的研究中,典型的学习方法有Gibbs采样(Gibbs sampling)算法,变分近似方法(variational approach),对比散度 (contrastive divergence,CD)算法,模拟退火 (simulate annealing) 算法等。下面对这些方法进行对比。

3.1 Gibbs采样算法

Gibbs采样(Gibbs sampling)算法是一种基于马尔可夫链蒙特卡罗(Markov Chain Monte Carlo, MCMC)策略的采样方法。给定一个N维的随机向量X=(X1,X2,…,XN),若直接求取X的联合分布P(X1,X2,…,XN)非常困难,但如果可以在给定其他分量时,求得第k个分量的条件分布P(Xk|Xk-),其中Xk-=(X1,X2,…,Xk-1,Xk+1,…,XN)指代排除Xk的其他N-1维的随机向量,则可以从X的一个任意状态[x1(0),x2(0),…,xk(0)]开始,利用条件分布,对各分量依次迭代采样。随着采样次数增加,随机变量[x1(n),x2(n),…,xk(n)]将会以几何级数的速度收敛于联合分布P(X1,X2,…,XN)。在训练RBM的迭代过程中,可以设置一个收敛到模型分布的马尔可夫链,将其运行到平衡状态时,用马尔可夫链近似期望值。

使用Gibbs采样算法具有通用性好的优点,但是由于每次迭代中都需要马尔可夫链达到极限分布,而Gibbs采样收敛度缓慢,需要很长的时间,因此也限制了其应用。

3.2 变分方法

变分方法(variational approach)的基本思想是通过变分变换将概率推理问题转换为一个变分优化问题。对于比较困难的概率推理问题,对应的变分优化问题通常也缺乏有效的精确解法,但此时可以对变分优化问题进行适当的松弛,借助于迭代的方法,获得高效的近似解。在变分学习中,对每个训练样本可见单元向量v,用近似后验分布q(h|v,μ)替换隐藏单元向量上的真实后验分布p(h|v,θ),则RBM模型的对数似然函数有下面形式的变分下界:

(16)

其中H(・)为熵函数。

使用变分法的优势在于,它能够在实现最大化样本对数似然函数的同时,最小化近似后验分布与真实后验分布之间的K-L距离。若采用朴素平均场方法,选择完全可因式分解化的分布来近似真实后验分布:,其中q(hj=1)=μj,训练样本的对数似然函数的下界有如下的形式:

(17)

采用交替优化的方式,首先固定参数θ,最大化上式学习变分参数μ,得到不平均场不动点方程:

(18)

接下来,再给定变分参数μ,采用Gibbs采样法与模拟退火方法等其他方法更新模型参数θ。在实际使用中,使用变分方法能够很好地估计数据期望,但由于式(17)中的负号会改变变分参数,使得近似后验分布与真实后验分布的K-L距离增大,因此将其用来近似模型期望时不适用。

3.3 对比散度算法

对比散度(contrastive divergence, CD)学习方法由Hinton提出,能够有效地进行RBM学习,而且能够避免求取对数似然函数梯度的麻烦,因此在基于RBM构建的深度模型中广泛使用。CD算法使用估计的概率分布与真实概率分布之间K-L距离作为度量准则。在近似的概率分布差异度量函数上求解最小化。执行CD学习算法时,对每个批次的各训练样本运行n步Gibbs采样,使用得到的样本计算。则连接权重的CD梯度近似为:

(19)

其中pn为n步Gibbs采样后获得的概率分布。通常在使用中只需要取n=1即可以进行有效的学习,因此在使用中较为方便。但CD算法随着训练过程的进行与参数的增加,马尔可夫链的遍历性将会下降,此时算法对梯度的近似质量也会退化。

3.4 模拟退火算法(Simulated Annealing)

模拟退火算法是对Gibbs采样算法的改进,由于Gibbs采样收敛速度缓慢,因此模拟退火算法采用有索引温度参数的目标分布进行采样,其核心思想是模拟多个不同的温度并行运行多个MCMC链,每个MCMC链在一个有序序列温度ti上,且t0=1

4 结束语

随机深度神经网络的兴起,借助RBM来学习深层网络逐渐成为了研究的主流,作为深度网络的基础单元结构―RBM,也成为深度学习领域中的核心,它为人们解决各类问题提供了一种强有力的工具。本文对RBM的基本模型进行简要介绍,并对RBM的各种学习方法进行对比分析。目前RBM的各种学习算法仍各有利弊,尚未有满足各种场合要求的学习方法。因此,进一步研究如何有效减少计算复杂性,简化网络拓扑结构,以及快速有效的RBM学习方法仍将在深度学习模型中占据重要的地位。

参考文献:

[1] 李海峰,李纯果.深度学习结构和算法比较分析[J].河北大学学报(自

然科学版),2012.32(5):538-544

[2] Salakhutdinov R, Hinton G E. An efficient learning procedure for

deep Boltzmann machines[J]. Neural Computation,2012.24(8):1967-2006

[3] 孙志军,薛磊,许阳明,王正.深度学习研究综述[J].计算机应用研究,

2012.29(8):2806-2810.

[4] 郑胤,陈权峰,章毓晋.深度学习及其在目标和行为识别中的新进展[J].

中国图象图形学报,2014.19(2):175-184

[5] 程强,陈峰,董建武,徐文立.概率图模型中的变分近似推理方法[J].自

动化学报,2012.38(11):1721-1734

[6] Geoffrey E. Hinton,Simon Osindero,Yee-Whye T eh. A fast

learning algorithm for deep belief nets[J]. Neural Computation,2006.18(7):1527-1554

[7] Ruslan Salakhutdinov,Geoffrey Hinton. Deep Boltzmann Machines[J].

JMLR W&CP,2009.5:448-455

第9篇:高中数学随机变量及其分布范文

论文摘要:从教学内容、教学安排、教学形式、以及对该课程的考核方法等方面对《概率论与数理统计》的教学进行了研究和探讨。

《概率论与数理统计》是研究随机现象客观规律的一门学科,是全国高等院校数学以及各工科专业的一门重要的基础课程,也是全国硕士研究生入学数学考试的一个重要组成部分。该课程处理问题的思想方法与学生已学过的其他数学课程有很大的差异,因而学生学起来感到难以掌握。大多数学生感到基本概念难懂,易混淆、内容抽象复杂,难以理解、解题不得法、不善于利用所学的数学知识和数学方法分析解决实际问题。为此,笔者从教学安排、教学内容、教学形式和考核方法4个方面对《概率论与数理统计》的教学进行了研究和探讨。

1 教学内容和安排

《概率论与数理统计》的内容以及教师授课一般都存在着重理论轻实践、重知识轻能力的倾向,缺少该课程本身的特色及特有的思想方法,课程的内容长期不变,课程设置简单,一般只局限于一套指定的教材。《概率论与数理统计》课程 内容主要包括 3大类 :①理论知识 。也就是构成本学科理论体系的最基本 、最关键的知识,主要包括随机事件及其运算、条件概率、随机变量、数字特征、极限定理、抽样分布 、参数估计 、假设检验等理论知识,这些是学 习该课程必须要掌握的最重要 的理论知识。②思维方法 。指的是该学科研究的基本方法,主要包括不确定性分析、条件分析、公理推断、统计分析、相关分析 、方差分析与回归分析等方法 ,这些大多蕴涵在学科理论体系中,过去往往不被重视,但实际上对于学生知识的转化与整合具有十分重要的作用。③应用方面。《概率论与数理统计》在社会生活各个领域应用十分广泛,有大量的成功实例 。

因此,在课程设置上,不能只局限于一套指定的教材,应该在一个统一 的教学基本要求 的基础上 ,教材建设应向着一纲多本和立体化建设的方向发展 。在教学进度表中应明确规定该 门课程的讲授时数 、实验时数、讨论时数、自学时数 (在以前基础上适 当增加学时数),这样分配教学时间,旨在突 出学生的主体地位,促使学生主动参与,积极思考。

2 教学形式

1)开设数学实验课教学时可以采用 以下几个实验 :在校门 口,观察每 30s钟通过汽车的数量,检验其是否服从 Poisson分布;统计每学期各课程考试成绩,看是否符合正态分布,并标准化而后排 出名次;调查某个院里的同学每月生活费用的分布情况 ,给出一定置信水平的置信区间;随机数的生成等等。通过开设实验课 ,可以使学生深刻理解数学的本质和原貌 ,体味生活中的数学 ,增强学生兴趣 ,培养学生的实际操作能力和应用能力。

2)引进 多媒体教学多媒体教学与传统的教学法相比有着不可比拟的优势。一方面,多媒体的动画演示 ,生动形象,可以将一些抽象的内容直观地反映出来,使学生更容易理解,同时增强了教学趣味性。如在学习正态分布时,可以指导学生运用 Matlab软件编写程序,在图形窗 口观察正态分布的概率密度函数和概率分布函数随参数变化的规律 ,从而得出正态分布的性质。另一方面,由于概率统计例题字数较多,抄题很费时间。制作多媒体课件,教师有更多的精力对内容进行详细地分析和讲解,增加与学生的互动,增加课堂信息量。对于教材中的重点、难点、复习课 、习题课等都可制作成多媒体课件形式,配以适当的粉笔教学,这样既能延续一贯的听课方式,发挥教师的主导作用,又能充分体现学生的认知主体作用。比如在概率部分 ,把几个重要的离散型随机变量、连续型随机变量的分布率、概率密度、期望、方差等列成表格;在统计部分 ,将正态总体均值和方差的置信区间,假设检验问题的拒绝域列成表格形式,其中所涉及到的重要统计量的分布密度 函数用 图形表示 出来。这样,学生觉得一目了然,通过让学生先了解图形的特点,再结合分位数的有关知识,找出其中的规律,理解它们的含义及联系,加深了学生对概念的理解及方法的运用,以便更容易记住和求出置信 区间和假设检验问题的拒绝域。这样,不仅使学生对概念的理解更深刻、透彻,也培养了学生运用计算机解决实际问题的能力。

3)案例教学,重视理论联系实际 《概率论与数理统计》是从实际生产中产生的一门应用性学科,它来源于实际又服务于实际。因此,采取案例教学法,重视理论联系实际,可以使教学过程充满活力,学生在课堂上能接触到大量的实际问题,可以提高学生综合分析和解决实际问题的能力。如讲授随机现象时,用抛硬币、元件寿命、某时段内经过某路口的车辆数等例来说明它们所共同具有的特点;讲数学期望概念时,用常见的街头用随机摸球为例,提出如果多次重复地摸球,决定成败的关键是什么,它的规律性是什么等问题,然后再讲数学期望概念在产品检验及保险行业的应用,就能使学生真正理解数学期望的概念并能自觉运用到生活中去;又如讲授正态分布时,先举例说明正态分布在考试、教育评估、企业质量管理等方面的应用 ,然后结合概率密度图形讲正态分布的特点和性质,让同学们总结实际中什么样的现象可以用正态分布来描述 ,这样能使学生认识到正态分布的重要性及其应用的广泛性,从而提高学生的学习积极性,强化学生的应用意识。

另外,也可选择一些具有实际背景的典型的案例,例如概率与密码问题、敏感问题的调查、血液检验问题等等。通过对典型案例的处理,使学生经历较系统的数据处理全过程,在此过程中学习一些数据处理的方法,并运用所学知识和方法去解决实际问题。

3 考核方法

考试是一种教学评价手段。现在学生把考试本身当作追求的目标,而放弃了自身的发展愿望,出现了教学中“教”和“学”的目的似乎是为了“考”的奇怪现象。有些院校概率统计课程只有理论课,没有实验课,其考试形式是期末一张试卷定乾坤,虽然有平时成绩,主要以作业和考勤为主,占的比率比较小 (一般占2O),并且学生的作业并不能真实地反映学生学习的好坏,使得教师无法真正地了解每个学生的学习情况,公平合理地给出平时成绩。而这种单一的闭卷考试也很难反映出学生的真实水平。

所以,我们首先要加强平时考查和考试,每次课后要留有作业、思考题,学完每一章后要安排小测验,在概率论部分学完后进行一次大测验 。其次注重科学研究,每个学生都要有平时论文,学期论文,以此来检查学生掌握知识情况和应用能力.此外还有实验成绩。最后是期末考试,以 A、B卷方式,采取闭卷形式进行考试。将这 4个方面给予适 当的权重,以均分作为学生该门课程的成绩。成绩不及格者.学习态度好的可以允许补考。否则予以重修。分数统计完后,对成绩分布情况进行分析,通过总体分布符合正态分布程度和方差大小判断班级的总体水平,并对每道题的得分情况进行分析,评价学生对每个知识点的掌握情况和运用能力,找出薄弱环节,以便对原教学计划进行调整和改进。总之,通过科学的考核评价和反馈,促进教学质黾不断改进和提高。

[参考文献]