神经网络降维方法精选(九篇)

第1篇：神经网络降维方法范文

关键词：矢量量化；自组织特征映射神经网络；图像压缩；主元分析

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)36-2731-02

The Vector Quantization Based on PCA/SOFM Hybrid Neural Network

HUNG Cui-cui, ZHANG Jian

(Liaoning University of Technology Electronic and Information Engineering College, Jinzhou 121001, China)

Abstract: In order to improve the two main shortcomings of the Kohonen's self-organizing feature map(SOFM) that are high computation complexity and poor codebook quality, the author proposes a vector quantization algorithm based on PCA/SOFM hybrid neural network in this paper. Descend the dimension of imported vectors by using the principal component analysis (PCA) linear neural network. And then, use SOFM neural network to vector quantization. By modifying the learning-rate parameter, topology field weight and initial codebook of the SOFM neural network to optimize network. Simulation results demonstrate that the image compression algorithm can shorten the time and improve the performance of codebook.

Key words: Vector quantization(VQ); Self-organizing feature map neural network (SOFM); image compression; Principle component analysis(PCA)

1 引言

矢量量化[1,2]技术是一种利用图像数据空间相关性的高效有损压缩方法，它具有压缩比大，编码速度快等优点，目前己广泛用于信号识别、语音编码、图像压缩等领域中。矢量量化优越性的体现离不开性能良好的码书，因而，矢量量化的关键是如何设计一个最佳码书，使得用该码书中的码字表征输入矢量空间分布时所引起的量化平均失真最小。近年几来，许多学者将SOFM神经网络应用于码书的设计[3]。但SOFM算法存在收敛速度慢、计算量大等缺点。陆哲明和孙圣和针对SOFM基本算法的计算量大采用了快速搜索算法，为了提高码书性能对SOFM基本算法的权值调整方法作了一些改进[4]。目前越来越多的研究人员把目光投向将矢量量化与其他的编码方法相结合[5]。例如，矢量量化与小波变换结合的算法[6]，分形变换与矢量量化相结合的算法[7]。PCA是一种有效的图像变换编码算法，它能够提取图像数据的主特征分量，因此能够降低图像输入数据维数。SOFM算法用于图像矢量量化则具有不易受初始码书的影响，同时能够保持图像数据的拓扑结构等优点。为此本文将两者结合，提出了PCA/SOFM混合神经网络图像混合编码算法。先用PCA对图像进行降维处理，再用SOFM神经网络进行码书设计。本文还对码书的初始化的选择问题和神经网络的学习参数进行研究。实验表明，该算法不但大大降低了计算量，而且提高了码书的性能。

2 PCA/SOFM混合神经网络的算法

尽管SOFM神经网络比起LBG算法有很大优势，但SOFM算法仍然存在收敛速度慢。计算量大等缺点。因此本文将PCA与SOFM神经网络相结合，提出了PCA/SOFM混合神经网络。PCA/SOFM混合神经网络结构如图1所示，先用PCA线性神经网络对输入矢量降维处理，从而使得压缩图像达到最小失真。然后用SOFM神经网络进行码书设计， PCA线性神经网络采用Sanger提出的广义Hebb算法[8]。

2.1 基本PCA/SOFM混合神经网络算法

1) PCA网络权值Wpi,j和SOFM网络权值初始化；

2) PCA网络输出矢量Yp(t)：

(1)

N为PCA神经网络输入矢量Xp的维数。

3) Wpi,j网络权值调整：

(2)

4) 重复步骤(2)至(3)，直至算法收敛。输出矢量Ypi(t)，并将此作为SOFM的输入Xi(t)；

5) 计算矢量Xi(t)与权值矢量Wi,j(t)的距离：

(3)

6) 选择具有最小距离的输出节点，j*作为获胜节点，即：

(4)

7) Wij(t) 网络权值调整：

(5)

8) 重复步骤(5)至(7)，直至算法收敛。

9) 取输入训练矢量集的下一个输入矢量，回到步骤(2)反复进行，直到足够的学习次数或满足规定的终止条件为止。

10) 保存所有权值Wij的值，即设计码书。

2.2 PCA/SOFM混合神经网络的初始化和改进

在PCA/SOFM混合神经网络算法中网络的初始化、邻域函数和学习率函数非常重要，它直接影响到网络的收敛速度和码书的性能。本文要对这几个参数进行优化以提高压缩速度和压缩性能。本文采用一种改进的随机选取法，使空间分配均匀，不会出现码字空间分的过细或过粗的现象。首先，按k维矢量所有元素中最重要的单个元素(即k维欧氏空间中最敏感的方向)大小排序；然后按顺序每隔n个矢量取一个矢量作为初始码书的一个码字，完成码书的初始化（n=训练序列中矢量的总数/码书的大小）。

由SOFM基本算法可知，权矢量Wi(t+1)的更新实质上是权矢量Wit和训练矢量Xi(t)的加权和。其中学习率因子和邻域函数非常重要，它们决定算法的收敛速度。下面推导最优的学习率因子α(t)。由式（5）得：

(6)

可以总结得：

(7)

令多项式的各项相等可得到最优学习率因子：

(8)

其邻域函数取为：

(9)

式中，hcc典型地取为0.8。T为最大迭代次数，初始值σ0和最终值σT典型地取为0.8和0.1。

3 实验结果

为了验证算法的有效性，本文把基本SOFM编码算法、基本PCA/SOFM混合神经网络编码算法和改进PCA/SOFM算法分别用于图像的压缩编码。本文采用的是512×512像素，256级灰度的Lena图像用于训练图像进行码书设计。首先将图像分为4×4子块，然后将每一小块的16个像素灰度值作一个训练矢量，送入PCA线性神经网络。PCA线性神经网络输出节点为8维PCA变换系数矢量，同时将它作为SOFM神经网络的输入矢量，用于进行码本设计。进过多次实验，取其平均值作为实验结果，图3给出了各种算法在相同压缩比的情况下恢复图像的对比。表1给出了各算法编码后的尖峰信噪比PSNR和码书设计时间的比较。

从测试的结果可以看出改进PCA/SOFM算法优于基本SOFM算法和基本PCA/SOFM算法，该算法缩短了码书设计的时间，图像的恢复质量有所提高，取得了令人满意的结果。从而证明本文提出的算法是一种行之有效的方法。

4 结束语

第2篇：神经网络降维方法范文

关键词：特征选择；敏感度分析；BP神经网络；图像识别

Image Feature election Based on ensitivity Analysis

ONG Yaozi,XIA Zhelei,ZAN Guoke

(China Jiliang University,angzhou,310018,China)オ

Abstract：Feature selection has been applied to several fields like data mining,image recognization and so on,which purpose is selecting these most effective features from feature vector and reducing the dimension of vectorFor image recognization system,in order to make sure the system performance we have to get a lot of information from image,which may make the training samples is not enough in contrast to the dimension of vectorIn this paper,sensitivity analysis is applied to select featuresIt has been proved that using features selected by sensitivity analysis to train BP neural net can avoid net overfitting,improve the performance of the system,greatly reduce the time consuming and make recognization system more effectively

Keywords：features selection;sensitivity analysis;BP neural net;image recognizationオ

1 特征选取的目的和重要性

特征选择在数据挖掘、图像识别等诸多方面有着广泛的应用,其目的是找出那些最有效的特征,即把特征空间从高维压缩到低维［1］。对于图像识别系统而言，为了保证识别性能要从图像中提取大量的信息，往往使得训练集数量相对特征向量的维数显得较少。那么就需要在保证识别分类准确率的前提下，去除部分特征值降低特征向量的维数。因此，特征值选取在整个识别系统中有着重要的作用。因为相对较多的特征值对识别分类系统将会产生2方面的问题。

（1） 因为特征向量中的每个分量作为输入值都会对识别分类系统产生不同的影响。以神经网络作识别系统为例，在训练过程中容易在对识别分类系统影响微弱的训练点上产生过拟合的问题，从而降低了系统的识别性能；（2） 不同特征值对识别分类系统的不同影响反映了特征值对系统的作用不同。因此，经过一定数量特征值训练的识别分类系统会对特征值对系统的影响起到解释作用。而如果特征值数量较多会使得识别分类系统的可解释性减弱。

因此，需要通过有效的方法和完整的体系对每个特征值的评估。通过分析评估可以获得不同的特征值对识别分类系统贡献的差异。本文将采用敏感度分析法来对图像特征值进行选取。

2 特征值敏感度分析

特征值敏感度，是指特征值对识别分类系统的不同作用和影响。如果某个特征值在取值范围内的微小变化对识别结果有影响，则说明该特征值的敏感度较高；相反，如果特征值的变化对识别结果影响甚微，则说明该特征值的敏感度低。本文的特征值选取通过利用神经网络对特征值的敏感度分析来实现。

21 基于神经网络的特征值敏感度分析原理

神经网络敏感度分析是指在输入特征值允许取值的范围内调整输入特征值使得输出不同的系统响应［2,3］。给定一组维数较高的特征向量集，结合交叉验证法，训练神经网络使得其识别性能达到一定的程度。然后依据敏感度衡量标准计算每个特征值敏感度。多次计算各个特征值的敏感度，并对其取平均值来降低误差。敏感度计算分析，对应较大敏感度的特征值意味着对识别结果影响较大。根据敏感度的大小依次去掉那些对识别系统影响小的特征值。保证系统性能在不断提高的前提下，以选取的特征值作为识别系统的输入向量。

第3篇：神经网络降维方法范文

关键词：计算机网络连接；增强优化；神经网络算法

中图分类号：TP393 文献标识码：A 文章编号：1007-9416（2017）03-0146-01

在当前的社会中计算机网络技术得到了极为快速的发展，被广泛的应用于人们生活和工作之中，为人们的生活和工作带来了许多的方便，成为当前社会中非常重要的一种科学技术。虽然从整体上看计算机网络技术在我国已经取得了较大的发展，但是我国在发展时间上仍旧较短，其中仍旧存在着较多的问题，尤其是在计算机网络连接上面。因此，针对这些存在问题的地方还需要进一步优化，为人们提供健康的计算机网络环境。

1 计算机网络连接增强优化

1.1 计算机网络连接增强优化的重要性

网络正常连接对于计算机的运行具有很大的作用，是计算机运行的基本条件。如何使得计算机网络连接增强优化显得尤为重要，特别是在现今这个网络飞速发展的时代，人们对网络的需求是越来越大，突然断网对于任何人、任何企业来说，损失都是巨大的。如网络连接断开，计算机设备就无法与通信网络展开有效信息沟通。正是因为以上这些情况，所以必须对计算机网络连接进行优化，将计算机网络不断拓扑扩展，促使信息交流更加有效于有序，从而有效将损失降低下来。网络技术发展到现在，适当地加入结点，可将计算机网络连接有效率不断完善，网络容量也会在一定程度上得到提高，加强了信息媒介的相互传播，使原有网络得到延伸，在延伸网络拓扑的同时，也为计算机网络的正常连接提供了重要的保障。截止到目前为止，提高计算机网络连接效率的措施非常之多，必须采取适当且合理的计算机网络连接优化措施，并且以最小经济支出增强优化神经网络算法。

1.2 计算机网络拓扑结构

计算机网络拓扑结构是一种物理构成模式，是由三方面组成，即网络计算机或网络设备、网络传输媒介中的结点和线。计算机网络拓扑结构的形成和产生与通信子网之间有着密切的联系，该结构的形成使得网络信息数据系统更加的完整、可靠安全，其还包括实现数据内容的互换、云共享等功能。一般计算机网络是用G= 来表示，其中V是一个网络结点集，E是一个链路集。如用Va表示增加结构中结点集，用Eb表示增加结构中连接集，那么就可以得出计算机网络的结构是：G’=。

2 基于计算机网络连接优化中的神经网络算法

2.1 神经网络算法

在思维学中有着这样一种看法，大脑思维包括三种基本方式，分别是形象思维、抽象思维与灵感思维。抽象思维是逻辑化的一种思想，形象思维是直观化的一种思想，灵感思维是顿悟性和创造性的一种思想。神经网络思维与大脑思维类似，其建立在理论实践基础之上，通过分析总结，模拟出人类的大脑思S，这实质上也可以看作另一种思维表达方式。人工神经网络是一个基于非线性动力学理论的神经网络系统，其主要特色可以归结为两点：信息存储的分布式和并行处理的协同性。通常情况下对于单个的神经元结构而言是非常简单的，这种神经元结构的功能也相对较为简单，但如果是网络系统由大量神经元构成，也就是将众多的简单功能组合在一起，可以让其功能显得特别的强大，其中的实现行为也会变得更加的丰富多彩。如果再在此基础上配置上合适的网络算法和网络模型，对网络信号的正确处理等功能，那么就会让该系统实现智能化。

处于如今这一阶段，在社会中，应用人工神经网络的领域是越来越广，可以说在实际生活生产中具有很好的效果。因此，人工网络算法也受到了人们的广泛关注，随着社会经济的发展，网络算法也再不断的优化中，发挥着监管的作用。也会影响计算机网络的连接效果。

2.2 均场神经网路算法

在建立科学合理场均神经网络模型基础上，可以有效增强优化计算机网络连接，在已优化的网络连接中研究均场神经网络算法，之后就可以对网络效果进行相关评判。特别注意，采用函数法来构建相关模型，最重要的是重视构建目标函数工作，在实际操作时，可采取以下方式对模型构建进行表达，具体如下：其中用Fi来表示Hopfield计算网络神经元的状态，当Fi=1，就表示网络此时选择连接的是i，且可正常进行连接；当Fi=0，就表示网络对于i没有选中，且不能正常进行连接。这时就可利用罚函数法所构建结构来对网络模型进行创建，但必须保证Z=max（ΣPi*Xi）与ΣMi*Xi≤A是能够成立的，并且有效控制目标函数，目标函数主要包括：I =γ/2*[ΣρiFi]2+ψ/2*[aΣmifi ]2，在该表达式中，a=（γripi-ψmimi）d，Ii=βami，γ和ψ是Lagrange参数，所构造的Lyapunov能量函数如下：E =1/2*ΣΣAiFiFiΣIiFi，Hopfield神经网络的结构如下：Fi=1/2*[1+tanh（Bi/T）]，Bi=ΣAiFi+I。均退火技术被充分利用，就可以实现将随机变量函数均值转变成函数，即得出：〈Fi〉=1/2*[1+tanh{}]，〈Bi〉=〈ΣAiFi+Ii〉=ΣAiFi +Ii。当随机变量均值〈Fi〉变换成均场变量Ri时，就能得到均场网络结构：Ri=1/2[1+tanh（ΣAiRi+Ii/T）]，均场网络能量函数即是：E（v）=1/2ΣΣAiRiRiΣIiRi。简单分析算法步骤发现：首先，参数设置必须建立在充分考虑问题基础上；其次，进行初始化时，Ri=rand（d，1-d），其中i是可以为大于零整数的；最后，以上操作重复进行，直到满足条件后为止。

3 计算机网络连接增强优化中的神经网络算法优势总结性分析

使用神经网络算法对计算机网络连接进行优化的优势是显而易见的，首先，其有效提升了计算机网络的连接效率，使得网络运行速度更快；其次，有效降低了优化计算机网络连接所带来的资金投入增加问题，将资金利用效率最大化，即用最少的资金获得最好的优化效果；再者，将复杂的取均值运算转变为函数式规律运算，大大节省了计算时间，实现网络信息数据的更好交互；最后神经网络算法增加了弥补漏洞模型，一旦Hopfield无法达到目标函数要求，就可以用罚函数法结构来进行对目标函数的控制，这样大大减少的误差率，使得后续网络维护工作更加方便。

4 结语

综上所述，计算机已经渗透在人们生活中的各个领域中，具有十分重要的意义。如果计算机网络出现故障，将威胁到相关企业的工作以及一些设备的正常运转，有损其经济效益。正因如此，必须加强重视计算机网络连接的程度，尽可能采取有效措施对计算机网络进行优化，不断完善连接效率，使得网络连接更加体现出可靠性与稳定性，促进计算机网络更长久且稳定的发展，为未来整个计算机事业的可持续性发展奠定基础，更加方便人们的生活，提高个人与企业收益。

参考文献

[1]朱云.计算机网络连接增强优化中的神经网络算法[J].煤炭技术，2012（04）：203-204.

[2]李霞.计算机网络连接增强优化中的神经网络算法[J].电子技术与软件工程，2016（03）：25.

[3]王颖华，金爱花.计算机网络连接增强优化中的均场神经网络算法[J].硅谷，2013（08）：61-62.

第4篇：神经网络降维方法范文

【关键词】BP神经网络；电力系统；负荷预测

一、引 言

电力负荷预测是电力企业高效调度、正常生产的重要前提，涉及社会生产、人们生活的各个方面，其预测精度对电力系统有着非常重要的意义，提高预测精度尤其短期负荷预测的精度已成为当务之急.长期以来，国内外学者对电力负荷进行了广泛研究，已经成为电力系统中的一研究热点.

传统的预测方法通常有趋势外推法、非线性偏最小二乘回归模型、灰色模型群建模及基于相关分析的综合预测模型等，通过建立预测对象的精确数学模型可取得比较符合实际的预测结果.但是实际的负荷受经济、政策、气象及社会等因素的影响，而这些因素往往相关性比较强，从而使得电力负荷具有时变性，进行电力负荷预测是一个典型的非线性问题.应用神经网络进行预测，不需要建立预测对象的精确数学模型，样本数据本身就包含诸多影响电力负荷量大小的因素.人工神经网络收敛速度快，算法实现容易，通过对训练样本集进行学习，以获取数据间的规律性，建立起输入数据与输出数据间的一种映射，然后在此基础上进行推理从而得到预测结果.

人工神经网络从模仿人脑智能活动的角度出发，通过计算机结构模型，构造一种接近人类智能的信息处理系统.人工神经网络包括输入层、隐含层和输出层，层与层之间采用全互联方式，同一层之间不存在相互连接，隐含层可以有一个或多个，输入变量采用正交最小二乘法.人工神经网络采用反向传播（Back Propagation，BP）算法，是多层感知器的一种有效学习算法，它的模型为前向多层网络，如图所示.

本文研究的重点在于对历史负荷数据进行前期处理，因此本文选择了在神经网络具有代表性的BP网络来进行负荷预测.在运用BP神经网络预测电力负荷的过程中，如果输入空间严重自相关及网络维数较高，BP神经网络的预测精度就会下降.针对这一问题，本文对输入空间的主成分贡献率采用主成分分析的方法来进行分析，从而推断出网络的输入空间，最终以原输入空间各矢量的线性组合来表示原输入空间.由于各主成分之间关联性较低，是相互独立的，所以由各主成分组成的输入空间不存在自相P性，因此能够有效地解决问题.

二、主成分分析原理

主成分分析是一种多元统计分析方法，该方法通过构造原变量的一系列线性组合形成新变量，使这些新变量在彼此互不相关的前提下尽可能多地反映原变量的信息.而在实际问题的研究中，往往会涉及众多有关的变量，庞大的变量群体不仅会增加计算的复杂程度，而且也为合理地分析问题和解释问题带来了困难.通常情况下，每个变量都会带有重要性不同的信息，变量之间也存在一定的相关性，这些相关性使得变量提供的信息在一定程度上有所重叠.主成分分析[6]的原理便是先对这些变量进行处理，然后用较少的互不相关的新变量来反映变量所提供的绝大部分信息，最后通过对新变量的分析达到解决问题的目的.

三、基于主成分分析与BP神经网络

基于主成分分析与BP网络的短期负荷预测的基本思想，利用主成分分析方法与BP网络进行短期负荷预测的基本思想简述如下.

四、实例分析

以湖南某地区的4月1日到4月12日的负荷值以及当天的天气、温度、日期类型为特征状态作为样本，为了便于分析和处理，将每天24小时的数据进行归一化处理.选取凌晨1点到中午12点的数据样本，把4月2日12个时刻负荷值和影响因子值作为标准样本，以4月3日到11日的每天16个样本数据与2日的相应数据的差值作为训练数据，来预测4月12日相应时刻（相对于4月12日）的负荷变化值.

为了检验本方法，将不应用主成分分析方法与应用主成分分析方法的预测效果进行了比较，通过计算可以得出不应用主成分分析方法的平均误差为0.0209，而应用主成分分析方法的平均误差为0.0125.应用主成分分析方法预测效果更好，每个时间点的预测负荷结果和实际值都十分地吻合，预测结果十分地精确.说明基于主成分分析方法的预测精度较不用主成分分析方法的预测有了较大的提高.

五、结 论

采用BP神经网络预测电力负荷的方法虽然更容易建立起数学模型，但是输入空间维数过高，相关性较大.本文提出了基于主成分分析和BP神经网络进行负荷预测的方法，可以大大降低由于历史数据过多造成的建造数学模型的难度.主成分分析方法能够去除数据间的相关性，并且降低数据的维数，同时还能保留负荷数据的主要信息.通过将提取出的主成分作为BP网络的输入参数，不仅可以减少网络的输入量，而且能较好地提高预测精度.

【参考文献】

第5篇：神经网络降维方法范文

[关键词]粗糙集；人工神经网络；上市公司；财务危机；预警

[中图分类号]F275；F224　[文献标识码]A　[文章编号]1006－5024(2012)02－0037－04

一、研究现状及意义

虽然我国上市公司的数量在不断增长，证券市场在迅速扩大，但很多上市公司都存在经营业绩不佳和抗御风险能力较弱等问题。如何建立有效的财务危机预警系统来预防财务危机，对企业、投资者和政府部门都具有重大意义。

(一)研究现状

国内学者关于上市公司财务危机预警方面的理论研究起步时间不长，实证研究以传统的统计学方式为主，与国外研究相比存在较大的差距，但国内还是有学者结合中国企业的实际情况进行了可贵的探索，也得到了一些重要的研究成果。陈静(1999)是我国第一个对上市公司财务危机进行预警研究的学者，对西方预警模型在我国是否适用进行了实证研究。高培业和张道坤(2000)建立了贝叶斯和Fisher模型、逻辑回归Logitic判别模型和Probit判别模型，并进行了实证比较分析。杨保安(2001)构建了一个基于单隐层的BP神经网络的财务危机预警模型，经过实证检验显示其判别准确率高达90％以上。乔卓(2002)构建了基于Levenberg－Mar－quardt算法的神经网络预测模型。刘洪和何光军(2004)分别采用判别分析法、逻辑回归Logitic和人工神经网络方法进行建模分析。杨淑娥和黄礼(2005)采用BP神经网络技术构建了财务危机预警模型。宁静鞭(2007)分别采用K近邻和逻辑回归Logitic方法进行了建模与实证检验。唐锋和孙凯(2008)构建了基于BP神经网络和主成分分析法的财务危机预警模型。在国外，西方经济学者早在20世纪30年代就开始进行财务危机预警研究，以企业的敏感性财务指标为基础，提出并构建了许多财务危机预警的方式和模型，结合各国上市公司的实际数据和特点，通过实证检验来预测企业是否将会发生财务危机。Odom和Sharda(1990)采用类神经网络构建了企业破产预警模型。Coats和Fant(1993)运用神经网络技术学习审计专家的结论来预测财务失败。Marco和Varetto(1995)将神经网络技术应用到企业财务危机预测中。Luther(1998)构建了遗传算法神经网络模型和多元逻辑回归Logitic模型，通过实证发现神经网络的预测准确率远高于多元逻辑回归Logitie。G Zhang etal(1999)利用神经网络技术对220家配对样本的企业进行财务危机预测，结果表明神经网络的准确性远远高于逻辑回归Logitic分析法。Kyong(2006)建立了混合神经网络和遗传算法理论的动态财务预测模型等。

(二)研究意义

财务危机预警是企业财务管理的重要内容，也是上市公司及时发现隐患危机并加以防范，保护投资者和债权人的利益，协助政府管理部门进行监控的主要手段与机制。因此，通过完善的预测方法和信息技术构建有效的财务预警体系，对上市公司具有重要的应用价值和现实意义。

从宏观角度来看，财务危机预警系统能及时地输出上市公司陷入财务危机的信息，有助于政府实施和制定宏观的经济政策和提供科学化的服务，以保证社会主义市场经济的平稳发展；有助于改善资源的宏观配置，严格控制濒临破产企业的财政拨款，减少国有资产流失。从微观角度上来看，财务危机预警系统的构建有利于管理层加强内部控制，改善经营管理，防患未然；有利于证监会等监管部门对上市公司的监督和管理；有利于利益相关者做出正确及时的决策，维护自身利益；有利于提高审计人员警惕性，降低审计风险。此外，数据挖掘技术在财务危机预警中的应用研究也有利于丰富我国财务预警理论。

二、相关名词概述

(一)财务危机

狭义的财务危机是指企业破产。广义的财务危机指的是企业出现的经济现象，如债券不偿付、不能支付优先股和银行透支等现象。关于财务危机的定义，国内外学术界有不同的观点。国外大多数学者认为企业提出破产申请行为是企业进入财务危机的标志。国内大多数学者认为上市公司中被ST的公司就是财务危机的企业。本文认同国内学者提出的观点，将被ST的企业作为财务危机型企业进行研究。

(二)财务危机预警

财务危机预警是以企业信息为基础，利用上市公司提供的财务报表、经营计划等相关会计资料，借助比率分析、比较分析、因素分析等数理统计和数据挖掘方法，对企业财务即将呈现的问题进行实时预测报警，督促利益相关者采取有效措施，避免潜在的危机演变成损失。

(三)粗糙集

粗糙集理论是一种研究不精确、不完整和不确定性知识的，可用于分类、发现不准确数据或噪声数据内在的结构联系。粗糙集理论由波兰科学家Z.Pawlak于1982年首先提出，具有许多优点：非常严密的分类问题处理的数学方法；将知识定义为不可分辨关系的类，方便用数学方法处理；可混合神经网络、遗传算法等理论，提供鲁棒性强和成本低的解决方案；是应用驱动的，实用性强；无需提供先验知识。

(四)人工神经网络ANN

人工神经网络是模仿大脑神经及网格的结构和功能，仿效生物处理模式来获得智能处理信息的理论。神经网络由大量神经元按一定规律复杂连接起来，采用由底到顶的学习方法，具有自我学习、自我组织和并行式的“集体”工作方式。其优点在于对噪声数据的承受能力较强，可对未经训练的数据分类，可进行分步计算等。

三、混合粗糙ANN预警模型的构建

(一)混合粗糙集与ANN预警系统的基本原理

采用基于粗糙集与ANN的财务危机预警模型时，样本、财务指标以及人员素质对模型的准确率有很大的影响，特别是财务指标的选择。而影响企业财务危机的指标有销售利润率、资本收益率、资产报酬率和营运资金占有率等，其中有一些指标及数据间存在较明显的相关性。如果把预定指标都作为ANN的输入变量，就将增加网络的复杂度和数据运算时间，也会降低计算的精度。为解决上述问题，可运用粗糙集理论中的知识约简方法来减少信息表达的属性指标，去掉冗余指标和信息。利用知识约简方法可以简化ANN的训练集，即减少了ANN系统的复杂性和训练时间。但是，粗糙集理论在知识推理、预测和自我学习上没有优势。人工神经网络ANN有良好的推理能力、分类能力和学习能力，能从海量的数据中发现规则、提取信息，具有强大的动态预测功能。两种方法的相互结合和补充可以取长补短，从而可以增强人工神经网络处理财务危机预警这类非结构化、非线形的复杂问题

的能力，提高模型实证检验的准确率。

(二)混合粗糙集ANN模型的结构设计

根据传统ANN结构，将混合粗糙集与人工神经网络模型结构分为三层，即输入层、隐含层和输出层。

1.网络层数的设计。对于多层神经网络来说，最主要的任务就是确定可加强网络映度的隐含层的数目。虽然隐含层能增加网络处理能力，也可实现任意复杂系统的映射，但如设计过多的隐含层则可能导致网络训练难度加大，网络的效率和时效性降低。由于对于小型网络的边界判别问题和二进制分类问题，单隐含层都能进行良好的分类，也能满足财务危机预警模型的构建和研究，因此本文采用单输入层、单隐含层和单输出层。

2.输入层的设计。财务危机预警模型中的输入层就是企业各财务指标数据的样本Xq＝(Xq1，Xq2，Xq3，…，XqiXXqn)T，其中Xqi；为样本q的第i个条件属性。选择n个财务指标就构成n维数的输入空间。虽然输入维数对网络的预测准确率有较大的影响，但过多地扩大输入维数将加大网络负担，影响训练效果和时间。为了改善输入层节点设置的盲目性和主观性，本文引入粗糙集的知识约简理论，消除冗余信息和指标，有效降低了输入维数。即全面选取N个财务指标，通过粗糙集属性约简后得到最简属性集，并将这些最具有分类功能的n个财务指标设置为神经网络输入层的节点。

3.隐含层的设计。隐含层节点数的选择对网络的性能有很大影响，选择多少单元和多少层都是复杂的问题。隐含层每个节点可确定一个判决面，节点也把N维输入空间分为两个部分，同时，又将第一隐含节点形成的多个判决面组成判决域或判决空间。这些节点数有些用来提取图形特征，有些则用来完成特殊的功能。常用的改进BP神经网络动态调整学习算法是将隐含层节点设置多些，让网络自行调整学习来获得大小适合的隐含层节点数。公式为L＝√O.43ran＋0.12n2＋2.54m＋0.77n＋0.35＋0.51.其中，L为隐含层单元数，m为输入层单元数，n为输出层单元数。

4.输出层的设计。通过神经网络模型将定性转化为定量的输出，用输出向量(0)和(1)来表示企业的财务危机状态：危机和安全。采用单节点输出层将大大简化网络结构并提高鉴别危机企业的预测准确率。

(三)混合粗糙集ANN财务危机预警模型的构建步骤

基于混合粗糙集ANN的预警模型具有并行计算能力强、无需处理数据外的其他先验知识、具有较好的鲁棒性和低成本等优点，特别适合处理财务危机这类非线性的复杂数据。模型构建步骤如下：首先，选取上市公司作为研究样本并建立决策表，将上市公司财务指标作为财务指标体系，公司是否出现“ST”作为企业财务特征的判别，样本公司T－3年的财务数据作为决策表，各财务指标作为决策表的条件属性，当年是否“ST”对应决策属性。由于预警模型的属性较多，本文应用粗糙集的属性约简理论，通过粗糙集应用软件ROSETTA进行区分矩阵和区分函数对属性进行约简。再通过粗糙集的知识约简理论对决策表进行约简，除去信息表达的属性数量，减少冗余信息，简化训练集，降低系统的复杂性和缩短训练时间。最后，在ANN模型中设计好参数自适应学习算法对网络进行训练，确定网络权值矩阵和其他相关参数，利用样本数据和ANN强大的并行计算能力来处理财务危机预警这类非线性的复杂系统，并通过实证来检验模型的实际应用价值。

(四)样本的选择

1.样本公司范围确定。本文选择在沪深交易所上市的制造业A股上市公司作为研究样本范围，有以下原因：第一，根据相关规定，B股、H股上市公司是由外资会计师事务所审计，采用的也是国际会计准则。而A股上市公司是由我国会计师事务所审计，执行的是我国的会计制度和会计准则。本文研究的是我国上市公司的财务危机预警模型，所以选择了A股上市公司。第二，由于我国上市公司中制造类公司较多，占比例最大，其公司业务流程完整、财务状况、经营成果和盈利状况比较典型。

2.样本公司数量及分组的确定。本文将总样本分为估计样本组和检验样本组，其中估计样本组的数据用于构建预警模型，检验样本用来检测模型实际运用的预测准确率。参考肖远文、石晓军等学者的研究成果，本文采用ST与非ST为1：3配对比例，选取ST上市公司为30家，非ST上市公司为90家。选择配对的非ST上市公司要满足以下几个基本原则：行业相同，消除公司样本的行业差异；年份相同，减少时间因素造成的干扰；规模相近，增强资产以外其他指标间的可比性。

3.选取ST公司的基本原则。本文选取并认定为ST公司对必须满足以下至少一个基本条件：因注册会计师意见而特别处理的公司；“近两个会计年度的审计结果的净利润均为负值”，包括因“财务报告调整导致连续两年亏损的公司；一年亏损，但“股东权益低于注册资本”的巨额亏损公司。同时，在选取并认定为ST公司时，将有以下情况的sT公司排除在外：2次以上被ST的公司、非财务状况异常而被sT的公司、数据不完整的公司、上市3年就被sT的公司、无法进行配对的公司。

4.样本数据会计年度的选取。企业出现财务危机并非“一日之寒”，而是一个连续的渐进的经营管理状况的动态恶化过程。本文选择企业2008－2010年3年的财务指标作为样本数据构建预警模型。

5.样本数据的来源。120家上市公司近3年的所有财务及非财务数据均来自国泰君安公司CSMAR数据库。

(五)财务指标选取

本文在借鉴前人研究成果的基础上，最终确定了具有代表性和可操作性的43个预警指标，其中财务指标29个，非财务指标14个(如下表所示)。

四、预酱模型的实证检验

(一)选取估计和检验数据集。估计样本由15家ST公司和45家非ST公司组成，这组数据是用于构建财务危机预警模型。而用于检验财务预警模型准确率的检验样本由剩下的15家ST公司和45家非ST公司组成。

(二)利用SPSS统计分析软件提供的独立样本T检验进行指标的初次筛选，剔除T检验总体方差值大于等于0.08那些显著性差异不大的指标，筛选后从43个指标中得到11个指标：X1、X3、X5、X10、X14、X17、X18、X21、X22、X25、K13。

(三)由于粗糙集只能处理离散化的数据，所以本文使用Maflab的竞争性学习网络工具箱中的函数进行聚类，将决策表中每个属性的各个连续值组成的向量作为网络的输入，设定参数Kohonen learning rare＝0.02、Conscience learning rate＝1.001和Number of neurons＝3，得到神经网络输出的数据。

(四)利用Rosetta粗糙集工程软件的RSESGeneni－eRedueer遗传运算规则对作为输入的离散化数据进行属性约简，最终对本文初选的11个财务指标约简后得到6个财务指标。

(五)确定神经网络各层的节点数，对模型进行初始化设置并估计样本的仿真训练。利用知识约简将科学地降低神经网络输入端的维数。最终确定输入层单元节点确定为6个，输出层元个数为1个，隐含层元个数为12个。利用Mat.1ab进行混合神经网络财务危机预警模型的初始化设置和网络仿真训练，基于快速BP算法的前向反馈型神经网络模型采用Sigmoid函数，学习规则上选取动量因子算法规则，学习速率采用自适应学习速率。训练参数设置如下：目标误差为0.0001，学习速率增加的比率1.2，学习速率减少的比率为0.8，动量因子为0.96。在Matlab软件对估计样本的6个财务指标作为神经网络的输入端，采用基于快速BP的前向型神经网络进行网络训练。在经过2186次迭代生成权值矩阵后，神经网络训练结束并获得用于对估计样本组进行仿真的权值矩阵和相关阀值。经过Matlab软件对估计样本组上市公司财务数据的处理，得到的基于混合粗糙集ANN的财务危机预警模型的回判仿真准确率为100％。

(六)将训练好的神经网络对检测样本进行仿真，以判断模型的预测能力。经过Maflab软件对检测样本组的上市公司财务数据进行实证检验，其准确率为86.3％，说明该模型具有良好的预测效果。

第6篇：神经网络降维方法范文

2001年Kinser对Johnson提出的网络模型进行简化，得到了交叉皮层模型(ICM———intersectingcorticalmodel)［7］。ICM的输出量图标对于平移、尺度、旋转以及仿射变换均具有不变性，并且ICM是一种单层神经网络，不需要训练，因而组成简单，易于用硬件VLSI实现，适合于实时图像的处理。这一系列优点使其应用于目标识别具有很大的研究价值和广阔的应用前景。但是ICM的众多参数需要人工设置、不具有参数的自学习能力，导致每次输入不同的图像，都需要人工重新设置参数，大大降低了算法的可靠性和效率。为此，本文通过添加适当的学习准则，使网络能够根据不同的输入自适应调整参数，提升ICM模型的可靠性与效率。1ICMICM是一种不同于传统人工神经网络的新型神经网络，它是对各种小型哺乳动物的视神经模型进行综合而得到的。用ICM对M×N大小的图像进行处理时，须将每个像素的灰度值作为每个神经元的输入，因此M×N的图像矩阵对应M×N个ICM神经元构成的神经元网络，且每个神经元Nij的活动可由下式来描述式中Sij为神经元Nij的外部刺激(输入)，Yij为神经元Nij的输出，Fij表示神经元的状态，Mijkl为神经元之间的连接权系数矩阵，f、g、h为权系数，G［n］为图标(n为迭代次数)，它表示神经元Nij完成每一次迭代后，ICM网络输出的二值图像中黑色像素点的个数。另外，利用ICM的输出量图标构造的特征［7，8］，不仅是一维信号，而且还具有如下特点:①具有类似于“人类指纹”的独特性，即对应不同的目标具有不同的图标;②具有平移、旋转、尺度不变性;③包含图像的空间几何信息［9］。对于ICM的众多参数，如:Mijkl，f，g以及h手工设定非常麻烦，而使用经验值又难以达到理想的效果。本文以提高目标识别率为出发点添加学习准则，使ICM网络能够自适应调整参数，增加目标特征之间的相似性。相关系数常用来衡量目标特征之间的相似性，相关系数的值越大，目标的相似程度越高。因而利用相关系数Rc构造误差函数，达到根据不同输入图像，ICM模型自动寻求最佳参数的目的。

2基于相关系数的ICM参数自动寻优方法

本文所添加的学习准则的主要思想是:在ICM模型的最优参数作用下，使待识别目标与模型库中的同一目标图标信号相同。因此添加的学习准则为:利用相关系数构造误差函数，采用梯度下降法求解误差函数，使沿ICM模型参数的负梯度方向逐步修改参数值，直至误差函数达到最小。

2.1基于相关系数的误差准则函数当ICM模型参数设置不当时，将会导致同一目标的实时图与基准图特征相差较远，而本文希望在最优参数下，实时图与基准图相似性最高。很显然，相关系数的最大值为“1”。本文构造出的误差准则函数为本文将采用梯度下降法沿模型参数的负梯度方向逐步修改模型的参数估计值，使(5)式达到最小，此时实时图与基准图相似程度最高。

2.2基于梯度下降的ICM参数确定步骤根据ICM模型的计算公式(1)～(4)可知，需要确定的参数有Mijkl，f，g以及h四个。而Mijkl在不同场合的设置方法较为统一，取为像素之间距离平方的倒数。其余三个参数可通过梯度下降算法自动得到它们的近似最佳设定值。梯度下降法的基本思想:沿着误差准则函数关于模型参数的负梯度方向逐步修改模型参数的估计值直至误差准则函数达到最小，这一思想来源于函数沿梯度方向具有最大变化率。即:函数沿负梯度方向下降速度最快。下面给出具体计算步骤。重复步骤b)和步骤c)，直至满足误差要求。为了克服梯度下降易陷入局部最小问题，采用自适应速率进行调整，自适应速率［10］公式如下

3参数设置对ICM输出图标的影响

由于ICM网络的输出值图标具有平移、旋转以及尺度不变性，因而近期被广泛应用于目标识别。但在深入研究中发现，当ICM网络参数f，g以及h取值不当时，使用ICM网络提取实时图和基准图的特征时，两特征相差较远，这时即使采用最好的识别算法也无法获取高识别率。其中，图1c)和图1d)为给定参数(f=0．6;g=0．1;h=40)时图1a)和图1b)的ICM图标，图1e)和图1f)为给定参数(f=0．4;g=0．1;h=60)时图1a)和图1b)的ICM图标。从上述的仿真实验可以看出，当原始ICM模型设定为上述参数时，基准图和实时图的ICM图标差别较大，这时采用其进行目标识别将会造成较大的误差。为克服这一缺陷，提出了一种自适应确定参数的方法，下面给出这一方法的实验结果。使用梯度下降法自适应确定出的模型参数值(f=0．9;g=0．8;h=20)对应的ICM图标见图2。从图中可以看出，经参数寻优后，实时图和基准图的ICM图标基本一致，这时再采用相应的目标识别算法，将会获得较好的识别效果。式中，F(ω)是基准图像提取的特征向量;F'(ω)是实时图像提取的特征向量;N是特征向量的维数。表1和表2中的横坐标均为尺度变化方向，纵坐标均为角度变化方向，并且尺度与旋转角度的变化情况两表是一致的。由表2可知当目标同时发生旋转和尺度变化时，本文算法的特征仅产生很小的变化;而表1中参考文献［11］的许多数据其方差从10－6增至10－4，较其余数据高1～2个量级。因而对比表2与表1后发现，本文算法的特征稳定性略好于参考文献［11］中的方法。为进一步验证本文算法的优越性，再考察采用参考文献［11］的特征以及本文特征对于下列不同目标的识别正确率。这15种典型气动布局的目标分别是飞翼类B2，正常布局F-15、F-16、F-18、Su-27、Mig-29，大后掠角机翼布局飞豹，机翼后缘前掠F-5、F-22、F-35，三角翼布局Saab35、幻影2000、歼-7、歼-8、鸭式布局歼-10。从实验结果(见图3)可以看出，本文方法识别率略高于参考文献［11］中的方法。

第7篇：神经网络降维方法范文

关键词 压力传感器；温度漂移；温度补偿

中图分类号：TP212 文献标识码：A 文章编号：1671-7597（2014）10-0038-02

压力传感器的输出结果精度容易受到多种因素的影响，其中，唯独是影响传感器输出精度的最主要因素。目前，国内经常使用硬件补偿和软件补偿两类方法对压力传感器进行温度补偿。硬件补偿方法调试难度较高、精度低、通用性也较差，在实际工程中应用时，难以去得较好的效果；而软件补偿方法有效弥补了硬件补偿的缺点，其中BP神经网络补偿在实际工程中运用十分广泛，但是典型BP神经网络补偿法虽然精确度高，但是整个流程过于复杂、整个过程耗时较长，因此，本文提出了一种基于主成分分析的BP神经网络补偿方法，希望对提高补偿效率和准确性起到一定的作用。

1 典型BP神经网络补偿原理分析

BP神经网络是目前研究中应用范围最广的神经网络模型之一，BP神经网络术语单向传输网络结构，整个信息传输的过程呈现出高度的非线性特点。典型的BP神经网络结构包括输入层、隐含层和输出层3层结构。通常情况下BP神经网络只有这3层结构，这主要是由于单隐层的BP神经网络既可以完成从任意n维到m维的映射。其典型结构如下图所示。

BP神经网络结构模型

BP算法设计到了信息的正向传播以及误差的反向传播，信息首先从输入层传入，然后经过隐含层的处理传入输出层，最终输出的信息可以用下面的形式进行表示：

其中：、分别代表了隐含层及输出层的权值；

n0、n1分别对应了输入节点数及隐含层节点数。

输出层神经元的激励函数f1通常呈现出线性特点；而隐含层神经元的激励函数f2通常采用如下所示的形式在（0，1）的S型函数中进行输出：

由于BP神经网络隐含层采用的传递函数为对数S型曲线，其输出范围在（0，1）之间。为了避免节点在短时间之内饱和而无法继续进行训练，需要在训练开始之前利用下面公式对样本数据进行预处理：

，

其中：Ui、Pi均为训练数据的标定值；Uimin、Uimax分别表示输出电压的标定极值（最小和最大）；Pimin、Pimax分别表示压力的标定极值（最小和最大）。

当目标矢量为T，信息通过正向传递，可以得到误差函数，具体如下所示：

如果输出结果无法达到要求的误差范围，则返回误差信号并按照一定的权值对公式中的各层权值进行修正，直到输出结果达到期望值。

在利用典型BP神经网络进行压力传感器温度补偿的过程中，算法过于复杂，而且非常耗时，因此，需要对其进行改进，以提高补偿效率。

2 BP神经网络法的改进

2.1 改进原理

基于典型的BP神经网络，利用以下方法进行改进。

1）利用小波神经网络的思想对神经元的激励函数进行改进，从而实现小波特性与BP神经网络自学功能的充分结合，提高激励函数的逼近能力。以Morlet函数作为小波函数的母函数，可以降低不同层面神经元之间的影响，提高网络的收敛速度。以Morlet函数作母函数的小波函数属于幅值小波，其信号中包含了复值和相关信息，改进后的函数具体如下所示：

在本次研究中，我们选取了R个输入样本和N个输出节点，则可以利用下面的公式对第l个样本的第n个节点的输入进行表示：

其中：K表示神经网络隐含层的单元数量；M表示神经网络输入层的单元数量；ωn，k表示神经网络隐含层第k单元与输出层第n单元的连接权值；ak-小波伸缩因子；bk-平移因子；Sl（xm）―输入信号。

2）在计算过程中通过，附加动量法的应用可以有效改实现梯度方向的平滑过渡，使得计算结果更具稳定性。该方法以BP法为基础对权值进行调节，具体公式如下：

其中：t表示样本的训练次数；η表示学习速率；σ表示动量因子；σΔωki（t）表示附加动量项，它能够有效降低不同神经元之间的影响，提高网络的收敛速度。

2.2 主成分BP神经网络算法的实现

步骤1：按照典型BP神经网络数据预处理方法对样本数据进行预处理。

步骤2：利用主成分分析法对预处理后的样本数据进行分析，降低输入向量之间的影响，使各个输入变量的协同方差趋于统一，从而使各权值具有相同的收敛速度，并以此确定神经网络的输入节点。

步骤3：对神经网络进行初始化，并对其中的部分关键变量进行设置。

步骤4：为神经网络选取一组学习样本，以输入节点作为网络的输入向量，并输入期望fn，l，n=1，2，…，N；l=1，2，…，R。

步骤5：利用输入的网络参数计算网络的实时输出能力，当输出误差在允许范围之内时，停止训练；而当输出误差超过允许范围 ，则将误差信息进行反向传播，使权值沿误差函数的负梯度方向发生变化，然后利用梯度下降法计算出变化后的网络参数，然后再重复进行第4步的操作。

步骤6：BP神经网络在训练合格之后，对其进行样本补偿。

步骤7：对补偿后的样本进行反标准化处理，然后与实测数据进行误差比较，判断出网络改进之后的变化。

2.3 压力传感器温度补偿

根据前文提供的BP神经网络算法实现步骤，可以利用Matlab编程语言来实现。在实现该算法之后，我们通过在压力传感器量程范围内确定n个压力标定点，同时确定m个温度标定点。标准值发生器会根据每个标定点的信息产生对应的标定输入值。然后输入样本数据，样本数据按照目标值要求的±20%范围进行选择，然后以误差目标小于10-3进行训练，当达到误差目标之后，网络的收敛速度得到有效的提升。

3 结论

通过研究结果发现，利用主成分分析法对信息进行补偿之后，再利用BP神经网络对这些信息进行训练，其学习速度相对直接利用BP神经网络进行训练更高。同时，通过改进典型的BP神经网络，利用小波函数作为激励函数，并应用动量附加发对网络敏感性进行控制，可以有效避免网络发生局部极小问题。通过基于主成分的BP神经网络温度补偿方法可以使压力传感器受环境温度变化而发生的误差问题得到高效、精确的解决。

参考文献

第8篇：神经网络降维方法范文

摘要：网络安全态势感知的基本目标是网络安全预测。本文重点论述了网络安全态势常用的三种方法并对其应用实现进行了分析和展望。

关键词：网络安全态势预测；神经智能网络；时间序列；支持向量机

Abstract：Network security situation forecast situation awareness is one of the basic goals. This paper mainly discusses the network security situation commonly used three methods and its application in the trend of the development of realization are analyzed and prospected.

Key words：Network security situation forecast ；Nerve intelligent network ；Time series ；Support vector machine (SVM)

1 引言

根据网络安全态势的以往的信息和目前状况情态可以对网络未来一个阶段的发展趋势进行预测，这就是网络安全态势的预测。由于网络攻击的随机性和不确定性，这就使得安全态势变化是一个复杂的非线性过程，常规传统的预测模型较有局限性。目前网络安全态势预测通常采用神经智能网络、时间序列预测法和支持向量机等方法。

2 网络安全态势的预测

目前神经智能网络是最常用的网络态势预测方法，该算法是先输入一些数据作为训练样本，然后根据网络能力调整权值，建立网络态势预测模型，而后运用模型，实现从输入状态到输出状态空间的映射，该映射为非线性映射。

神经智能网络具有很多优点，其中自学习、自适应性和非线性处理尤为突出。网络之所以具有良好的容错性和稳健性，是因为神经网络内部神经元之间存在复杂的连接，连接权值的矩阵具有可变性，这使得模型运算中存在高度的冗余。但是神经智能网络存在许多缺陷：如过分拟合或者训练不够，训练时间短，可信的解释难以提供。

时间序列法是对时间序列的以往数据研究找出随着时间的变化态势发展的规律，并利用这种规律推断未来，从而预测未来态势。在预测网络安全态势中，建立函数y=f(t)，y即网络安全态势值，该值是有态势评估获取而来的，此态势值是非线性的。预测出的网络安全态势值通常被看作一个时间序列，设定y={yi|yi∈r，i=1，2，…，l}为网络安全态势值的时间序列,然后通过序列的前n个时刻的态势值预测出后m个网络安全态势的值。

时间序列预测法更适用于实际应用，因为该法较方便，可操作性较好。然而，若要建立精度相当高的时序模型，除了模型阶数也要合适，更要求模型参数的最佳估计，所以，建模的过程相当复杂。

支持向量是指那些在间隔区边缘的训练样本点。这里介绍一种基于统计学习理论的模式识别方法——支持向量机制，这一机制的原理是建立在结构风险最小原理基础上的，根据有限的样本信息在模型的复杂性（即对特定训练样本的学习精度）和学习能力（即无错误地识别任意样本的能力）之间寻求最佳折衷，以期获得最好的推广能力 。 即输入一个非线性映射，映射到一个高维特征空间，在该空间上进行线性回归，从而将低维特征空间的非线性回归问题转换为高维特征空间的线性回归问题来解决。

总之，神经智能网络算法具有能够靠经验将风险降到最低的优点，但也存在不足：如不容易确定结构模型，降低推广能力。在学习过程中，若样本数量不足时，学习精度就难以保证，因为容易收敛到局部最小点导致学习过程的误差；若样本数量很多时，学习精度可以提高，但是会导致泛化性能不高，陷入维数灾难。对于非线性关系、非正态分布特性的宏观网络态势值形成的时间序列数据，运用时间序列预测法来处理效果并不是不理想。支持向量机除了能有效地避免了上述算法所面临的问题，具有预测绝对误差小的优点，正确预测出趋势率，保证了准确预测网络态势的发展趋势。

参考文献:

[1] 任伟，蒋兴浩，孙锬锋.基于rbf神经网络的网络安全态势预测方法［j］.计算机工程与应用，2006,42(31)：136-138.

[2] 张翔，胡昌振，刘胜航，等.基于支持向量机的网络攻击态势预测技术研究［j］.计算机工程,2007,33(11):10-12.

第9篇：神经网络降维方法范文

关键词关键词：人脸识别；卷积神经网络；图像识别；深度学习；模式识别

DOIDOI：10.11907/rjdk.171043

中图分类号：TP317.4

文献标识码：A文章编号文章编号：16727800（2017）005018603

0引言

人脸识别是近年来模式识别、图像处理、机器视觉、神经网络及认知科学领域的研究热点[12]。所谓人脸识别，是指给定一个静态人脸图像或动态视频，利用存储有若干已知身份的人脸数据库验证单个或多个人的身份[1]。作为生物特征识别的一个重要方面，人脸识别有着广泛的应用场景，如：档案管理系统、公安系统的犯罪身份识别、银行和海关的监控、安全验证系统、信用卡验证等领域。在人脸识别巨大魅力的影响下，国内互联网公司也开始了人脸识别应用的探索，如百度推出的人脸考勤系统、阿里支付宝的刷脸登录等功能都是人脸识别的具体应用。目前，人脸识别的代表性方法主要有以下几种：Turk和Pentland[3]提出的特征脸（Eigenface）方法；基于线性区别分析，Belhumeur 等[4]提出了Fisherface方法；基于统计理论，剑桥大学的 Samaria和Fallside[5]提出了隐马尔科夫模型[5]（HMM），Lawrence 等[6]提出的通过多级自组织映射神经网络（SOM）[6]与卷积神经网络相结合进行人脸识别。上述方法虽然获得了良好的识别正确率，但需要人工参与特征提取，然后将提取的特征送入分类器进行识别，过程较为复杂。

卷积神经网络[79]是近年发展起来，并引起广泛重视的一种高效深度学习识别算法，其已成为当前语音分析和图像处理领域的研究热点。相比传统的神经网络而言，卷积神经网络具有权值共享、局部感知的优点。局部感知的网络结构使其更接近于生物神经网络，权值共享大大减少了模型学习参数的个数，同时降低了神经网络结构的复杂性。在图像处理领域，卷积神经网络的优点体现得更为突出，多维的图像数据可以直接作为网络的输入，特征提取和分类均集成在网络中，避免了传统识别算法中复杂的特征提取和训练分类器过程。除此之外，卷积神经网络对图像中的位移、比例缩放、旋转、倾斜或其它形式的变形具有很好的鲁棒性。为了解决传统人脸识别算法特征提取和训练分类器困难的问题，本文借鉴Lenet-5[10]的结构，设计一个适合ORL数据集人脸识别任务的卷积神经网络结构。

1卷积神经网络

1.1用于ORL人脸识别的CNN

本文提出的7层卷积神经网络模型由输入层、2个卷积层、2个降采样层、一个全连接层和一个Sigmoid输出层组成。卷积核的大小均为5×5，降采样层Pooling区域的大小为2×2，采用Average Pooling（相邻小区域之间无重叠），激活函数均采用Sigmoid函数。每一个卷积层或降采样层由多个特征图组成，每个特征图有多个神经元，上层的输出作为下一层的输入。此外，本文实验学习率的取值为常数1.5，该卷积神经网络结构如图1所示。

1.2卷积层

卷积神经网络中的卷积层一般称C层[11]（特征提取层）。卷积层的输入来源于输入层或者采样层。卷积层中的每一个特征图都对应一个大小相同的卷积核，卷积层的每一个特征图是不同的卷积核在前一层输入的特征图上作卷积，然后将对应元素累加后加一个偏置，最后通过激活函数得到。假设第l层榫砘层，则该层中第j个特征图的计算表达式如式（1）。

xlj=f（∑i∈Mjxl-1iklij+blj）（1）

这里的Mj表示选择的上一层输出特征图的集合。

1.3降采样层

降采样层是对上一层的特征图进行下采样处理，处理方式是在每一个特征图内部的相邻小区域进行聚合统计。常见的下采样方式有两种：Average Pooling和Max Pooling。其中，Average Pooling是取小区域内像素的平均值，而Max Pooling是取小区域内像素的最大值。降采样层只是对输入的特征图进行降维处理，不改变特征图的个数。假设down表示下采样操作，βlj表示乘性偏置，blj表示加性偏置，则降采样层中某个特征图的计算表达式如下：

xlj=f（βljdown（xl-1j）+blj）（2）

1.4输出层

卷积神经网络的输出层一般为分类器层，常用的有径向基（RBF）函数输出单元、Sigmoid输出单元和Softmax回归分类器。在ORL人脸识别任务中，采用Sigmoid函数输出单元，输出层的编码采用非分布编码“one-of-c”的方式。由于采用Sigmoid函数，每一个单元输出值是0-1范围内的一个正数，代表该样本属于该单元对应类别的概率。数值最大的那个单元即为样本的预测类别。假设x为全连接层的输出，则输出层输出结果的计算表达式如下：

y=f（wTx+b）（3）

其中，f表示激活函数，这里采用Sigmoid函数，Sigmoid函数表达式如下：

f（x）=11+e-x（4）

2实验结果与分析

实验在Windows7 64位下的Matlab 2014a中进行，采用Matlab深度学习工具箱DeepLearnToolbox。PC的内存8G，CPU主频为3.2GHZ。

ORL人脸数据集是在1992年至1994年之间由AT &T Cambridge实验室拍摄的人脸图像所构成。数据集中包含40个不同人物的脸部图像，每个人物包含10张图像，总共400张。每个类别中的脸部图像在不同的时间拍摄得到，存在如下差异：①光线；②面部表情，如眼睛的闭合和睁开状态，面部是否带有微笑的表情等；③一些面部细节上的差异，如是否佩戴眼镜等。该数据集中所有人脸图像均为灰度图像，且图像中人物面部朝向基本一致，都朝向正前方。

图2为ORL数据集中部分人脸图像。数据集中每个原始图像大小为92*112像素，本文实验中对这些图像进行预处理，使每一幅图像的尺寸调整为28*28，并对每一副图像进行归一化处理，这里采用简单的除255的方式。随机选取每一个类别的8张图像作为训练样本，剩下的2张作为测试样本。因此，训练集有320个样本，测试集有80个样本。

2.1改变C3层卷积核个数对网络的影响

卷积神经网络性能的好坏与卷积层卷积核的个数密切相关，但每一个卷积层应该设置多少个卷积滤波器，目前并没有数学理论指导。为了研究卷积核个数对网络最终识别准确率的影响，本文保持C1层卷积核个数不变，通过改变C3层卷积核的个数，形成新的网络结构，用训练集训练网络，训练迭代次数均为60次，然后用测试集对每一种网络结构的性能进行测试。实验结果如表1所示。

从表1可以看出，当C3层有10个卷积核时，网络模型对测试集的识别正确率最高。卷积核的个数与识别准确率并不成正比关系，当卷积核个数过多时，网络的识别准确率会下降，这是因为在卷积核个数增加的同时，需要学习的参数也随之增加，而数据集中训练样本的规模较小，已不能满足学习的要求。

2.2改变C1层卷积核个数对网络的影响

由上述实验结果可知，C3层卷积核个数为10时，网络识别效果最好。因此，为了研究卷积层C1层卷积核个数对识别准确率的影响， C3层保留10个卷积核，改变C1层卷积核的个数构造新的网络结构，用测试集针对不同网络结构就测试集和训练集的识别准确率进行测试。实验结果如表2所示。

从表2的实验结果可以得到相同结论：卷积层卷积核的个数并非越多越好，卷积核个数过多，网络需要学习的参数也随之增加，当训练集中样本个数无法满足学习需要时，网络识别准确率就会下降。

2.3与其它算法比较

为进一步说明本文所提卷积神经网络结构的有效性和优越性，将该结构（C1层6个卷积核，C3层10个卷积核，学习率1.5）的实验结果与其它识别方法在ORL数据集上的实验结果进行对比，结果如表3所示。可以看出，本文所提方法比Eigface、ICA的识别效果好，与2DPCA方法的识别准确率一样，比FisherFace方法的识别准确率只低了0.20%，这进一步证实了本文所提网络结构的有效性。

3结语

本文在理解Lenet-5结构的基础上，提出一种适用于ORL人脸数据集的卷积神经网络结构。实验结果表明，本文提出的卷积神经网络结构，不仅避免了复杂的显式特征提取过程，在ORL数据集上获得98.30%的识别正确率，而且比大多数传统人脸识别算法的效果都好。此外，本文还通过大量验就每个卷积层卷积核个数对网络识别准确率的影响进行了详细研究与分析，这对设计CNN网络结构具有一定的参考意义。

参考文献参考文献：

[1]李武军，王崇骏，张炜，等.人脸识别研究综述[J].模式识别与人工智能，2006，19（1）：5866.

[2]张翠平，苏光大.人脸识别技术综述[J].中国图象图形学报，2000，5（11）：885894.

[3]YANG M H.Face recognition using kernel methods[J].Nips，2002（2）：14571464.

[4]祝秀萍，吴学毅，刘文峰.人脸识别综述与展望[J].计算机与信息技术，2008（4）：5356.

[5]SAMARIA F，YOUNG S.HMMbased architecture for face identification[J].Image and Vision Computing，1994，12（8）：537543.

[6]LAWRENCE S，GILES C L，TSOI A C.Convolutional neural networks for face recognition[C].Proceedings CVPR'96，1996 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，1996：217222.

[7]陈耀丹，王连明.基于卷积神经网络的人脸识别方法[J].东北师范大学学报：自然科学版，2016，48（2）：7076.

[8]卢官明，何嘉利，闫静杰，等.一种用于人脸表情识别的卷积神经网络[J].南京邮电大学学报：自然科学版，2016，36（1）：1622.

[9]李彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016，36（9）：25082515.

[10]LCUN Y，BOTTOU L，BENGIO Y，et al.Gradientbased learning applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：22782324.