神经网络研究现状精选(九篇)

第1篇：神经网络研究现状范文

（黑龙江民族职业学院，黑龙江 哈尔滨 150066）

摘　要：盈余预测具有引导投资者投资行为的作用，因此受到投资者的广泛重视。然而，国内对公司未来盈利进行预测的研究还相当少。提出了以决策树作为基分类器，采用集成学习方法，利用上市某公司2001至2005年的财务数据对该上市公司在2006年的盈利状况进行预测研究。首先，采用有放回的随机抽样技术分别从训练样本和测试样本中产生50个训练子集和1个测试集；然后利用决策树，采用CHAID算法对50个训练子集分别进行训练，得到50个基决策树分类器；通过采用Bagging方法，构建决策树集成模型。所得到的集成模型在测试集上的分类准确率达到96%以上，通过比较由不同数目的基分类器构成的集成模 型和单个分类器的预测准确率，证明了该集成模型的预测准确率高且稳定。

关键词 ：神经网络；集成学习；盈利预测

中图分类号：F275文献标志码：A文章编号：1000-8772（2014）31-0253-02

收稿日期：2014-10-28

作者简介：潘道华（1981-），女，汉族，黑龙江哈尔滨人，研究生，主要研究方向：人工智能、数据挖掘与决策支持。

1 引言

公司的财务状况及其未来盈利情况不但对公司的管理层十分重要，而且对其他投资者也非常重要。如果能够利用公司以往的财务报表数据和其它一些宏观经济数据（如GDP、CPI、利率等）及早准确预测公司未来的盈利状况的话，那么就可以更有效地对公司进行管理和指导投资者的投资行为。但是，一个公司的财务报表往往只反映了公司在过去的财政年度内的经营状况，并不反映出公司在下一年中的管理情况。因而，一个公司的财务状况与其未来盈利之间的关系并没有那么明显，它受到很多因素的影响，要构建一个精确的模型反映它们之间的关系是很困难的。针对此情况，本文提出采用决策树集成方法，构建模型来刻画公司财务状况与其未来盈利之间的关系，利用上市公司已有的财务数据，并结合主要的宏观经济变量来预测公司未来的盈利状况，这必将是公司财务处理的一个新发展。

数据挖掘技术越来越多地被用于预测研究。集成学习方法作为数据挖掘技术中一种较新的方法，由于其在提高预测的准确性上的优点，正被越来越多的研究者使用。

尽管许多领域都应用集成学习方法来进行研究，但在对公司未来盈利的预测研究上还很少，在国内尚未见到任何报导。虽然Takashi Washio等人对日本上市公司的未来盈利状况进行了研究，但是他们只是将盈利状况分为两种情况来进行研究。本文通过利用集成学习方法，考虑宏观经济对公司盈利可能造成的影响，提出将宏观经济变量纳入变量体系，同时，为了使结果更有指导意义，将上市公司的每股收益（EPS）指标将公司盈利的情况划分为三类，即EPS为负，EPS大于均值及EPS介于二者之间，对其进行预测研究。

2 研究方法

2.1神经网络

人工神经网络是由大量并行分布式处理单元组成的简单处理单元[1]。由于神经网络具有非线性，自学习能力、自适应性强和容错性高等优点，因而被广泛用于各种非线性预测问题。

所有神经网络都有一个输入层和输出层，一个网络结构可以包含一个或多个隐含层。神经网络的学习是通过调整连接权重和偏差实现的。Cybenko等人证明了如果神经网络利用一个有界的，连续的，非递减的激活函数时，只要不对隐含层的神经元数进行限制，一个三层网络（包含一个隐含层）就能够学习任意一个在输入和输出空间的连续映射[2]。在实际应用中用的最多的是BP神经网络。

BP神经网络是一种基于误差后向传播算法（BP算法）的多层感知器网络。BP神经网络的激活函数一般采用Log-Sigmoid或Tangent Sigmoid等可微函数。BP算法分为两个阶段。第一阶段是前向过程，逐层计算各神经元的输出值，第二阶段是误差后向传播过程，从后向前逐层传播输出层的误差并据此修正各层权重，直到输出结果满足预先设定的精度要求或达到算法设定的最大循环次数。

2.2神经网络集成

如何根据观测数据学习得到精确估计是机器学习领域中人们非常关注的一个问题，机器学习的一个重要目标就是对新的测试样本尽可能给出最精确的估计。构造一个高精度估计是一件相当困难的事情，然而产生多个只比随机猜测好的粗糙估计却很容易。传统的机器学习方法是在一个由各种可能的函数构成的空间中寻找最接近实际分类函数的分类器。常用的单个分类器模型主要有决策树、人工神经网络等。

集成学习（ensemble learning）的基本思想是在对新的实例进行分类的时候，把若干个单个分类器集成起来，通过对多个分类器的分类结果按某种方式来进行组合，决定最终的分类，以取得比单个分类器更好的结果。如果把单个分类器比作一个决策者的话，集成学习方法就相当于多个决策者共同进行一项决策。

尽管单个神经网络在处理非线性问题上表现良好，但是用单个神经网络来进行预测，一个不足的地方就是结果的稳定性差。因为神经网络的预测结果受网络各层之间的初始权重影响很大。为了克服这一不足，本文利用集成学习的思想，采用以BP神经网络作为基分类器的神经网络集成方法来对公司未来盈利状况进行预测。

以神经网络作为基分类器构建集成模型的方法主要有Bagging和Boosting。本文选择采用Bagging方法，因为Bagging方法较易于实现，而且不容易产生过拟合现象。对一个已知的有n个数据元素的数据集，Bagging法的原理是[1]：对每次循环（=1，2，…，），采用有放回的随机抽样方法从数据集中抽取m个数据形成训练集（mn），分类器模型从中学习。为了对一个未知的元素X分类，每个都返回一个分类值，将该分类值看成是一票，而最后的集成分类器，通过统计这些投票，将X归为得票最多的那一类。

3 研究步骤与具体实例分析

3.1样本选取

本文采用的上市公司数据样本来自天软数据库。在剔除了财务变量有大量缺失值后，样本共包含从2001年至2006年的深市和沪市A股的1174家上市公司。其中，沪市上市公司734家，深市440家。本文选取了反映上市公司偿债能力，成长能力，经营能力，资本结构，盈利能力，现金流，每股指标等方面的29个财务变量作为初始变量。此外，为了研究宏观经济环境对公司未来盈利的影响，相应的选择了2001年至2006年的三个宏观经济变量：国内生产总值增长率（GDP），居民消费价格指数增长率（CPI）及一年期金融机构贷款基准利率。这几个变量都与公司的盈利状况有着密切的关系。国内生产总值反映了整个国家的经济状况，而居民消费价格指数是反映居民购买并用于消费的商品和服务项目价格水平的变动趋势和变动幅度的相对数，它可以全面反映多种市场价格变动因素及其对居民实际生活的影响程度。一年期金融机构贷款基准利率会影响公司的营运成本，会对公司的利润产生直接的影响。所有变量见附表。

为了预测未来公司的盈利状况，本文将数据样本分为训练样本和测试样本。其中，训练样本由2001年至2005年的公司样本数据用有放回的随机抽样方法得到，每个训练样本包含1000个观测，测试样本是用相同方法得到的上市公司在2006年的数据样本，包含400个观测。

3.2指标选择

对于初始变量表，变量之间存在着相关性。虽然神经网络对变量间的相关性具有较强的容忍度，但是，变量太多会增加网络的复杂度，还有可能使网络过适应，从而使得网络在测试样本上的表现很差，而且并不是变量越多，神经网络的预测精度就越大，所以适当选择具有代表性的指标变量既可以达到与用所有变量相同的预测精度，又能降低网络的复杂度，避免使网络陷入过适应，提高网络的训练速度。

然而，运用神经网络方法，对输入变量的选取目前并没有一个公认的方法。为了从众多的初始变量中选择具有代表性的变量，本文利用spss Clementine11.1数据挖掘软件包选项面板中的建模栏中的特征选择节点来对变量进行筛选。通过构建一个带有特征选择节点的流，可以为每一训练集筛选出重要的变量。利用筛选出来的变量和全部变量分别对训练样本进行训练，得到两种神经网络模型，分别对测试样本进行分类，并分别构建集成模型。

3.3 建立模型

本文是对2001年至2005年上市公司的数据样本进行训练得到单个神经网络模型，用该模型对测试样本进行预测。如何产生不同的分类模型是影响集成模型准确性的一个重要因素[4]。以下四种方法——不同的初始条件，不同的网络结构，不同的训练数据，不同的训练算法常用来产生分类模型。本文采用不同的训练数据和不同的网络结构这两种方式结合得到基神经网络。

按照Bagging方法的要求，本文采用有放回随机抽样方法，从训练样本中随机抽取了15个子训练集，并用相同的方法从测试集中抽取了400个样本数据组成测试集。每个子训练集含有1000个样本，它们均由2001至2005年的200个公司样本组成。利用特征选择节点在每个训练集上选出的变量分别在这15个子样本上进行训练得到子分类器，然后用这些子分类器对测试样本进行分类。采用多数投票法对子分类器进行集成，得到集成方法在测试集上的预测结果。

3.4 结果分析

为了比较集成模型与单个神经网络预测准确率的差异，按照单个神经网络模型预测准确率按升序进行排序，分别计算了由7个、9个、11个、13个、15个基神经网络模型构成的集成模型的预测准确率，集成模型，不论是由用全部变量进行训练得到的基神经网络构建还是由用筛选出的变量进行训练得到的构建，都显示出了很高的准确率，而且得到的预测准确率相当稳定。

4 结论

本文利用神经网络集成的方法，以上市公司过去的财务数据和宏观经济数据为样本，对上市公司的未来盈利状况进行预测。研究结果表明，相比于单个神经网络模型，尽管选用7个预测精度最差的单个神经网络作为基神经网络，其集成网络的预测准确率仍然很高，因而集成方法得到的结果更稳定，更具有说服力。

由于上市公司管理水平的差异，影响公司盈利状况的因素又多，所以要想较好的刻画它们对盈利状况的影响，是一个很有挑战性的问题。本文的研究结果还表明，采用神经网络集成方法来研究未来盈利状况是可行的。进一步的研究可以从以下几个方面考虑：

（1）变量的选取。为了使预测更为准确，在建模时，需要考虑更多的影响因素。由于公司盈利状况跟公司的管理水平直接相关，因此，如何合理选取量化一些有关公司治理的指标变量，将它们加入到模型中去，是一个值得深入研究的问题。

（2）产生集成神经网络的方法。除了Bagging方法，还有其他产生集成神经网络的方法，比如Boosting方法。不同的方法会得到不同的结果，从而通过比较不同的结果，可以得到一个用来研究此类问题的最好的方法。

参考文献：

[1] Lars Kar Hansen， Peter Salamon. Neural network ensembles，IEEE transactions on pattern analysis and machine intelligence，vol.12， pp993-1001， 1990.

[2] Li-Chiu Chia，Tseng-Chung Tang. Artificial neural networks in reorganization outcome and investment of distressed firms： The Taiwanese case， Expert Systems with Applications， vol.29，pp641-652， 2005.

[3] Jiawei Han Micheline Kamber， data mining; concepts and tech-niques（second edition）[M]．北京：机械工业出版社，2006．

第2篇：神经网络研究现状范文

关键词： 静息态；功能核磁共振成像；脑网络；主分量分析；独立分量分析

中图分类号：TP399 文献标识码：A 文章编号：1009-3044（2014）03-0617-04

大脑作为人体的重要组成器官，其复杂的结构和功能都是学者们研究的重点，神经元之间或神经元集群之间的拓扑结构构成了复杂脑网络，这个复杂的网络决定了整个大脑如何运转。随着EEG、EMG等影像技术的发展，脑网络的研究手段不仅变化出了多种多样的研究手段，在内容方面也扩展了很多，无论是从结构网络到功能网络，再到效率网络等，都有研究人员深入研究。现阶段对于脑网络的研究在脑疾病的预测和诊断方面已经取得了较多的成果，对大脑的结构性网络和功能性网络的研究也越发深入。

在网络类型上，基于fMRI的脑网络研究主要有三个方向：脑功能网络、脑结构网络与脑效率网络。结构网络主要研究在结构层面上，对大脑信息传输至关重要的神经纤维定向结构连接问题。效率网络主要研究大脑各区域之间的相互影响；功能连接网络主要研究脑功能区在各种状态下的协作、协同关系。具有物质基础的结构网络是大脑认知的基础，功能网络和效率网络受结构性连接的制约，有限制的完成各方面的认知工作。

在研究方式上，主要有任务态及静息态。前者是指大脑需要完成特定认知任务的状态，如视觉任务、听觉任务等。此时重点分析特定功能区的各种网络结构、构成等。后者是指大脑清醒且无特定任务状态。主要用来分析大脑默认网络的一些特性。

近年来，静息态状态下的脑功能网络研究越发受到关注[1-2]，已得到各类默认认知功能的工作网络，例如视觉网络、听觉网络、感觉网络等。该文重点对近年来的静息态脑功能网络进行综述，结构如下：第一节详细综述脑网络研究中的主要算法，第二节概括了脑网络研究在脑疾病中的应用，第三节对脑网络的发展前景进行描述，最后做出相关工作的总结。

1 脑功能网络研究

对脑功能网络的研究，本质上是对脑认知功能数据的网络建模。因此，人工智能与机器学习领域中众多优秀的建模方法理所当然的被拿来使用，很多取得了很好的结果，如独立分量分析，主成分分析等。下面，就对几种典型且效果较好的算法进行介绍。

1.1 种子相关分析方法

种子相关分析方法（seed-based correlation analysis）是根据线性相关理论来计算选定脑区与其它脑区之间的线性相关度的方法，该方法在临床精神疾病的研究中已经得到应用。在Martin[3]等人对健康被试和患有帕金森疾病被试的无任务静息态fMRI数据进行功能区域间的连通性分析，对比数据后发现，扫视的准确度和内侧颞叶和后扣带皮层之间的连接强度显著相关，实验结果表明默认模式网络中与帕金森病相关的改变与由于该病造成的扫视辨距过小，特别是垂直方向上的有关；Sureshl[4]等人利用这种方法对数据分析后发现，在一个状态下，来自共激活的两个脑网络的体素也呈现相关，说明种子相关法可以揭示脑区在特定的实验状态下的功能性连接；该方法也用于验证其他研究方法是否行之有效，例如在Lu[5]等人的研究中采用种子相关和数据驱动的聚类分析方法来计算静息态功能连通性地图，两种分析方法所得结果的一致性就进一步验证了功能性近红外光谱可以用于评估静息态功能性连接。

1.2 独立分量分析（ICA）

独立成分分析方法（independent component analysis ， ICA） 是从盲源分离技术（blind source separation ，BSS） 衍生而来的一种完全依靠数据的信号处理方法，其主要特点是能够从多道脑电信号中分离出隐含的独立源成分使其适用于静息态功能连接分析。

Lixia[6]等在研究中利用ICA系统的研究了与停止信号任务的停止信号时间相关的行为特性，研究表明由ICA获取的时间信息可以与空间地图所提供的信息互补，使得人们跟好的研究大脑功能；Dae [7]等人利用多级ICA的分析方法，先将ICA用于整个大脑灰质，又将二级ICA限制性的用于基底神经节和丘脑区域来确定这些区域间离散的功能从属单位；在[8-10]的研究中，都对ICA作出改进，使得数据处理得到了更准确的结果；在Nicola[11]等人的研究中，将14种公开可用的ICA算法进行对比，通过算法对目标的空间和时间相关性以及计算时间作为衡量标准，研究结果表明不同参数的选择对实时fMRI实验都会产生不同的深远影响；Ugwechi[12]等在实验中使用ICA结合其他算法来研究静息态时的tDCS（经颅直流电刺激），研究表明在阴极tDCS对缺省模式网络的影响为由阴极tDCS诱发的衰弱的的下行控制可能导致功能表现受损。

1.3 主成分分析（PCA）

主成分分析（PCA）是一种常见的多导信号分解技术，对多个变量通过线性变换得到尽可能少的变量来表示数据信息特征。

You等人在[13]中，将一种新型的数据驱动的PCA方法与传统方法做了比较，研究表明自动化的数据驱动PCA的决策空间可以将语言相关的激活模式隔离，PCA的方法在研究中具有明显优势；Jiang等在[14]中提出了将主成分分析和有监督的传播聚类分析结合起来的方法，并对模拟数据与真实数据进行分析；Petia[15]等提出一种将RPCA（基于鲁棒的主成分分析）和GNB（高斯朴素贝叶斯）相结合的方法，直接通过fMRI来识别大脑的不同认知状态，研究表明RPCA可以有效改善真实基准fMRI数据的分类率；Magnus等在[16]提出用Stein的无偏风险估计辅以随机矩阵理论的相关知识来估计主成分分量的数目，取得了较好的效果并且应用广泛。

1.4 图论（Graph Theory）

图论是描述网络特征的重要工具，人脑的功能网络，已有多项研究证明具有小世界性。

Shen等人在[17]研究中，利用两种基于图的分区方法对脑网络进行划分：分别是标准化切割和模块化检测算法，以及高斯混合模型算法，研究结果表明，利用静息态fMRI对整个大脑皮质进行分割是可行的，并且标准化切割更有利于实现目标；Federica等人在[18]的研究中，采用图论的方法对18为可能患有bvFTD（行为变化额颞失智症）的病人和50位健康被试的静息态fMRI数据进行分析，研究发现患有bvFTD病症的被试，其整体和局部的功能网络都发生了改变，发生变化的脑区在结构上与神经病理学上的改变紧密相连，bvFTD患者脑功能网络上发生畸变的拓扑结构可能是造成他们认知障碍的原因之一。

1.5 小世界（Small World）

大脑是一个由功能连接脑区组成的复杂动态系统，脑区之间功能连接具有小世界拓扑特性， “小世界”网络模型能够很好地揭示人脑结构和功能网络的拓扑特性。

Xiaohu等人在[19]的研究中利用小世界网络对患有AD（阿尔兹海默症）的被试和健康被试的fMRI的数据进行分析，以此研究被试的脑功能网络的拓扑特性，研究发现AD患者局部拓扑性质增强而整体呈减弱趋势；Heuvel[20]等人的研究可以表明小世界网络对于脑功能性连接有效运转不可或缺的一部分，在这样的组织中，每个体素都与相邻的体素构成一个聚类子网络，由一些高度连接的中心网络将他们聚合在一起，以此来确保高效的连通性；在Ding[21]等人利用小世界网络对PNES（非心理性癫痫）进行研究，将功能性网络和结构型连接网络相结合，为更好地研究PNES这种病症提供了良好的开端。

1.6 算法的适用性

在上述主流脑功能网络构建算法中，大致上可归为两种构建思路：局部信息构建与全局信息构建。

局部信息构建主要是种子相关分析建模、图模型及小世界网络建模。利用局部脑认知活动过程中的血氧变化信息来构建模型中的边权，可以灵活展示不同脑区在不同相关性、强度等条件下的网络结果。尤其是“小世界”网络有相对高的信息传递速率和较高的全局过程处理效率，使得研究人员无需关注大脑的整体网络结构情况下就可以研究局部连接特性，降低了研究的复杂度，提高了研究效率。

全局信息网络构建主要方法就是PCA与ICA建模方法。对于PCA来说，在给定的一组多元测量集合中，寻找出变量的冗余度较小的子集，以此来表示这些测量，使得问题得到简化，这就是使用PCA算法的目的所在。ICA的基本思想是从多维度的观测信号中提取统计独立的成分，一方面使计算变得更加有目标性，另一方面让计算更加简便。

2 脑功能网络研究在疾病中的应用

脑网络研究的重要应用使用在对大脑疾病的研究上。随着近年来各种影像技术的快速发展，使得研究人员可以通过非介入手段采集到人脑的结构和功能等信息，通过对脑网络的分析对一些精神疾病，如癫痫、精神分裂症、抑郁症等进行了深入的研究。

Masterton等人在[22]中发现，CAE（儿童失神性癫痫）患者在丘脑和神经中枢底部的连接性减少，在枕区中部的连接性增加并且CAE患者的丘脑和皮质的功能即使在没有普遍棘波伴随的情况下也会持续的变化；在[23-24]的研究中发现，静息态下抑郁症患者的脑功能具有性别差异，抑郁症患者的焦虑、认知障碍、睡眠障碍和绝望感等可能是部分脑神经活动异常的表现；在关于癫痫疾病的研究中[25]发现癫痫患者存在整体化的脑功能异常；在[26-28]关于精神分裂症的研究中发现，精神分裂症患者双边海马与一些脑区的功能连接性减少，并且患者的大脑两个半球间的协调性有实质性的损害，但是患者兄弟姐妹在TNN（任务负激活网络）中的超链接可能对检测精神分裂症的类型并最终可以检测出精神分裂症的基因有所帮助。

3 脑功能网络的研究展望

目前，功能性脑网络的研究在利用fMRI、EEG或EMG这三种单模态脑研究手段上已经有了很深入的研究，但是较少见到能把其中的任意两种或是三种手段都结合起来的方式。目前关于EEG—fMRI的融合算法主要有两种：约束融合方法和直接融合方法[29-32]。并且现阶段对于精神方面疾病研究侧重的还是脑功能的部分，未来是否可以更多地将大脑和心理结合起来，利用现有的手段，对有心理疾病的患者发病时和正常表显示的fMRI数据进行对比分析，从而达到对心理方面的疾病也给出预测和诊断，这样就可以及时采取治疗手段。此外，将脑认知与交通工具和通讯设备等联系起来的应用相信也会逐渐受到研究者们的关注。

4 结束语

该文章通过对脑网络的分类，脑网络研究中涉及的相关算法，以及在临床与疾病相关工作的大量资料整合形成综述，并对脑功能网络的将来发展做出展望，希望可以对以后的脑网络研究工作的开展起到积极作用。对于大脑这样一个主管人类行为、语言、思考和活动等功能的重要器官，自始至终就是研究所关注的核心。对于人脑，还有很多未解之谜等待我们发现，以后的研究一定会更加深入，所涉及的领域也会更加广泛。

参考文献：

[1] Stephen m S， Christian F B， Jesper A， et al. Resting-state fMRI in the human connectome Project[J]. NeuroImage， 2013， 80： 144-168.

[2] Sporns O， Tononi G， Edelman G M. Theoretical neuroanatomy and the connectivity of the cerebral cortex[J]. Behavioural Brain Research， 2002， 135（1-2）： 69-74.

[3] Martin G， Hans P M， Albert C L，et al. Functional Connectivity Within the Default Mode Network Is Associated With Saccadic Accuracy in Parkinson's Disease： A Resting-State fMRI and Videooculographic Study[J]. Brain Connectivity， 2013， 3（3）： 265-272.

[4] Suresh E J，Brian S C， Peter C M， et al.On the relationship between seed-based and ICA-based measures of functional connectivity[J].Magnetic Resonance in Medicine， 2011， 66 （3）： 644-657.

[5] Chunming L，Yu J Z， Bharat B B， et al.Use of fNIRS to assess resting state functional connectivity[J].Journal of Neuroscience Methods， 2010， 186（2）： 242-249.

[6] Lixia T，Yazhuo K，Juejing R，et al.Spatial vs. Temporal Features in ICA of Resting-State fMRI – A Quantitative and Qualitative Investigation in the Context of Response Inhibition[J]. PLOS One， 2013， 8（6）： e66572.

[7] Dae J K， Bumhee P， Hae J P.Functional connectivity-based identification of subdivisions of the basal ganglia and thalamus using multilevel independent component analysis of resting state fMRIJ].Human Brain Mapping， 2013， 34（6）： 1371-1385.

[8] Manuel G， Darya C， Maite G，et al. Lattice independent component analysis for functional magnetic resonance imaging[J]. Information Sciences， 2011， 181（10）： 1910-1928.

[9] Schopf V， Windischberger C， Kasess C H， et al. Group ICA of resting-state data： a comparison[J]. Magnetic Resonance Materials In Physics， Biology And Medicine， 2010， 23（5-6）： 317-325.

[10] SchopF V， Windischberger C， Kasess C H， et al. Fully exploratory network ICA （FENICA） on resting-state fMRI data[J]. Journal of Neuroscience Methods， 2010， 192（2）： 207-213.

[11] Nicola S， Vince D，Lorenzo B， et al. ICA analysis of fMRI with real-time constraints： an evaluation of fast detection performance as function of algorithms， parameters and a priori conditions[J].Frontiers in Human Neuroscience， 2013， 7：19.

[12] Ugwechi A， Andrei S， Heidi j B， et al. Polarity-specific effects of motor transcranial direct current stimulation on fMRI resting state networks[J].NeuroImage， 2013 ，88： 155-161.

[13] Xiaozhen Y， Malek A， Jin W， et al. A decisional space for fMRI pattern separation using the principal component analysis—a comparative study of language networks in pediatric epilepsy[J].Human Brain Mapping， 2013， 34（9）： 2330-2342.

[14] Jiang Z， Xianguo T， Zhen Y， et al. Analysis of fMRI Data Using an Integrated Principal Component Analysis and Supervised Affinity Propagation Clustering Approach[J]. IEEE Transactions on Biomedical Engineering， 2011， 58（11）： 3184-3196.

[15] Petia G， Nuttapod N， Fernando D T. Robust Principal Component Analysis for Improving Cognitive Brain States Discrimination from fMRI[J].Pattern Recognition and Image Analysis， 2013， 7887： 165-172.

[16] Ulfarsson M O， Solo V. Dimension Estimation in Noisy PCA With SURE and Random Matrix Theory[J]. IEEE Transactions on Signal Processing， 2008， 56（12）： 5804-5816

[17] Shen X， Papademetris X， Constable R T. Graph-theory based parcellation of functional subunits in the brain from resting-state fMRI data[J]. NeuroImage， 2010， 50（3）： 1027—1035.

[18] Federica A， Sara S， Paola V， et al. Brain network connectivity assessed using graph theory in frontotemporal dementia[J].Neurology， 81： 104-106.

[19] Xiao H Z， Yong L， Xiang B W， et al. Disrupted Small-World Brain Networks in Moderate Alzheimer’s Disease： A Resting-State fMRI Study[J].PLOS One， 2012， （3）： e33540.

[20] Heuvel M P， Stamc J， Boersma M， et al. Small-world and scale-free organization of voxel-based resting-state functional connectivity in the human brain.[J]. Neuroimage， 2008， 43（3）： 528-539.

[21] Jurong D， Dongmei A， Liao W， et al. Altered Functional and Structural Connectivity Networks in Psychogenic Non-Epileptic Seizures[J].PLOS ONE，2013，8（5）： e63850.

[22] Masterton R A， Carney P W， Jackson G D. Cortical and thalamic resting-state functional connectivity is altered in childhood absence epilepsy[J]. Epilepsy Research， 2012， 99（3）： 327—334.

[23] 胡崇宇，高小平，肖波，等. 部分性发作癫痫患者静息状态功能磁共振默认模式网络的功能连接改变[J]. 中华神经科杂志， 2012， 45（7）： 478-483.

[24] 王丽， 刘海燕. 静息态下不同性别抑郁症患者脑功能及其差异的fMRI研究.[J]. 中华心理卫生杂志， 2008，22（4）： 271-275.

[25] 姚志剑， 卢青等. 静息态下抑郁症患者脑功能与临床症状的相关性.[J]. 中华心理卫生杂志， 2009， 23（9）： 680-684.

[26] Matthew J H， Xinian Z， Debra D A， et al. Decreased interhemispheric coordination in schizophrenia： A resting state fMRI study[J]. Schizophrenia Research， 2012， 141（1）： 1—7.

[27] Haihong L， Yoshio K， YuaN Z， et al. Schizophrenic Patients and Their Unaffected Siblings Share Increased Resting-State Connectivity in the Task-Negative Network but Not Its Anticorrelated Task-Positive Network[J]. Schizophr Bull， 2012， 38（2）： 285-294.

[28] Zhou Y， Shu N， Liu Y， et al. Altered resting-state functional connectivity and anatomical connectivity of hippocampus in schizophrenia[J]. Schizophr Res， 2008， 100（1-3） ： 120-132.

[29] Robyn L B， Jodi m， Ruth A L， et al. Spontaneous Low-Frequency Fluctuations in the BOLD Signal in Schizophrenic Patients： Anomalies in the Default Network[J]. Schizophr Bull， 2007， 33 （4）： 1004-1012.

[30] Maciej K， Katarzyna B， Waldemar S. Topographic analysis of coherence and propagation of EEG activity during sleep and wakefulness[J]. Electroencephalography and Clinical Neurophysiology， 1997， 102（3）： 216-227.

第3篇：神经网络研究现状范文

1　引言

神经网络是近年来得到广泛关注的一种非线性建模预报技术。它具有自组织、自学习、自适应和非线性处理、并行处理、信息分布存储、容错能力强等特性，对传统方法效果欠佳的预报领域有很强的吸引力。基于神经网络的非线性信息处理方法已应用于军事信息处理及现代武器装备系统的各个方面，并有可能成为未来集成智能化的军事电子信息处理系统的支撑技术。该技术在一些先进国家已部分形成了现实的战斗力。

    船舶在波浪中航行，会受到风、浪和流的影响，因而将不可避免地发生摇荡运动。严重的摇荡会使船员工作效率下降、物品损坏、军舰的战斗力下降。如果能够预知未来一段时间船舶的运动情况，不仅有利于尽早采用先进控制算法控制舰载武器平台隔离船舶运动的影响，使其始终稳定瞄准目标，而且还可获得未来一个海浪周期内的船舶运动情况，以研究船载武器上层的控制策略，从而提高火力密度，因此，有必要研究在海浪中具有一定精度的海浪中船舶运动的短期预报。此外，如能有效准确地预报船舶的横摇运动，对于提高船舶的耐波性和适航性也有重要意义。

国内外学者也将神经网络用于船舶运动预报研究，但往往没有考虑实时性等实现问题，因而不能实用化。神经网络实现技术是神经网络研究的一个重要方面。神经网络实现可分为全硬件实现和软件实现两种。目前神经网络的实现还主要以软件模拟为主，由于现行的冯诺曼计算机体系结构不能实现并行计算，因而神经网络软件的实时应用还受到一定限制。

目前，一些著名集成电路制造公司如Intel、Mo-torola、松下、日立、富士通等均已推出自己的模拟或数字神经网络芯片，这些芯片无论在网络规模还是运行速度上都已接近实用化的程度，因而给神经网络应用的发展以极大的推动。由于舰载武器系统，需选用具有在片学习功能的神经网络芯片，即将网络训练所需的反馈电路及权值存储、计算和修正电路都集成在了一个芯片，因而可实现全硬件的、具有自学习能力的神经网络系统，也可以说，这是一种具有自适应能力的神经网络。

2 ZISC78的功能及工作原理

ZISC78是由IBM公司和Sillicon联合研制的一种低成本、在线学习、33MHz主频、CMOS型100脚LQFP封装的VLSI芯片，图1所示是ZISC78的引脚排列图。ZISC78的特点如下：

内含78个神经元；

采用并行结构，运行速度与神经元数量无关；

支持RBF／KNN算法；

内部可分为若干独立子网络；

采用菊花链连接，扩展不受限制；

具有64字节宽度向量；

L1或LSUP范数可用于距离计算；

具有同步／异步工作模式。

2．1 ZISC78神经元结构

ZISC78采用的神经元结构如图2所示，该神经元有以下几种状态：

(1)休眠状态：神经网络初始化时，通常处于这种状态。

(2)准备学习状态：任何时侯，神经网络中的神经元都处于这种状态。

(3)委托状态：一个包含有原型和类型的神经元处于委托状态。

(4)激活状态：一个处于委托状态的神经元，通过评估，其输入矢量处于其影响域时，神经元就被激活而处于激活状态。

(5)退化状态：当一个神经元的原型处于其它神经元类型空间内，而大部分被其他神经元类型空间重叠时，这个神经元被宣布处于退化状态。

    2．2 ZISC78神经网络结构

从图3所示的ZISC78神经网络结构可以看出，所有神经元均通过“片内通信总线”进行通信，以实现网络内所有神经元的“真正” 并行操作。“片内通信总线”允许若干个ZISC78芯片进行连接以扩大神经网络的规模，而这种操作不影响网络性能。

ZISC78片内有6 bit地址总线和16 bit数据总线，其中数据总线用于传输矢量数据、矢量类型、距离值和其它数据。

2．3 ZISC78的寄存器组

ZISC78使用两种寄存器：全局寄存器和神经元寄存器。全局寄存器用于存储与所有神经元有关的信息，每片仅有一组全局寄存器。全局寄存器组中的信息可被传送到所有处于准备学习状态和委托状态的神经元。神经元寄存器用于存储所属神经元的信息，该信息在训练学习操作中写入，在识别操作中读出。

2．4 ZISC78的操作

ZISC78的操作包括初始化、矢量数据传播、识别和分类等三部分。

初始化包括复位过程和清除过程。

矢量数据传播包括矢量数据输入过程和神经元距离计算过程。神经元距离就是输入矢量和神经元中存储的原型之间的范数。通常可选L1范数或Lsup范数：

其中，Xi为输入矢量数据，Xs为存贮的原型数据。

对于识别和分类，ZISC78提供有两种可选择的学习算法RBF和KNN。其中RBF是典型的径向基函数神经网络。在该RBF模式下，可输出识别、不确定或不认识的状态；KNN模式是RBF模式的限制形式，即在KNN模式下，新原型的影响域总被设为1，输出的是输入向量和存储原型之间的距离。需要指出的是，ZISC78具有自动增加或减小神经元个数以适应输入信号的分类和识别功能，神经元个数的最大值和最小值在全局寄存器组中设定。

2．5 ZISC78的组网

一个ZISC78芯片内可以通过寄存器操作定义若干个独立的网络。若干个ZISC78芯片通过层叠可以组成一个更大的神经网络，组网芯片数量没有限制，小于10个ZISC78组网时，甚至连电源中继器件也不需要。所以，ZISC78具有最大的灵活性，能够满足不同的需要。

3　仿真实例

为了验证ZISC78用于船舶运动实时预报的精度，本文对径向基函数神经网络预报进行了仿真，图4给出了基于径向基函数神经网络和船舶运动惯导实测信号预报的0．3秒（15步）误差曲线图。

通过以惯导实测数据ZHX＿lg．dat为例预报0．3秒（15步）以后的船舶运动，作者运用相空间重构理论已经判断出本数据为非线性信号。

该仿真的最大预报误差方差为6．4666e－004，该数据可以满足战技指标。

4　结束语

第4篇：神经网络研究现状范文

关键词：logistic回归 BP神经网络 上市公司 信用风险

在经济全球化的趋势下，信用将成为主要的交易方式，金融危机的爆发更是显示出信用风险管理和信用风险分类的重要性。从20世纪60年代至70年代的统计学方法，20世纪80年代的专家系统到90年代的神经网络，各种信用风险评级方法层出不穷。在我国，信用风险的度量和管理较为落后，金融机构没有完善有效的评级方法和体系，目前所应用的方法主要是粗略的定性方法，如综合利用宏观经济与行业风险、所有权及治理结构、信用风险及其管理、市场风险及其管理、资金来源/流动性、盈利能力等进行“加权”加分，信用风险的度量模式显得比较单一，所以对于信用风险分类方法是学术界和实务界必须解决的课题之一。

一、文献综述

（一）国外文献Logistic模型最早是由Martin （1977）用来预测公司的破产及违约概率。他从1970年至1977年间大约5700家美联储成员银行中界定出58家困境银行，并从25个财务指标中选取总资产净利润率等8 个财务比率，用来预测公司的破产及违约概率，建立了Logistic回归模型，根据银行、投资者的风险偏好设定风险警界线，以此对分析对象进行风险定位和决策。同时还将Z-Score模型，ZETA模型和Logistic模型的预测能力进行了比较，结果发现Logistic回归模型优于Z- Score模型和ZETA模型。Madalla （1983） 则采用Logistic模型区别违约与非违约贷款申请人，其研究结果表明，当违约概率p>0.551时是风险贷款；当p

（二）国内文献 在国内的研究文献中，齐治平（2002）从我国沪、深两交易所选取164 家上市公司，然后随机分成两组，运用线性判别模型、Logistic 回归模型以及含有二次项和交叉项的Logistic 模型对数据样本提前两年进行预测。结果发现，含有二次项和交叉项的Logistic模型对前一年数据的预测准确率最高。吴世农（2003）使用剖面分析、单变量分析、线性概率模型（LPM）、Fisher二类线性判定、Logistic模型等统计方法对财务困境公司进行预测研究，其中Logistic模型对前一年数据的预测准确率达到93.53%，Fisher判别分析法和LPM的准确率都为89.93%。庞素琳（2003）利用多层感知器分别对我国2000年106家上市公司进行信用评级，信用评价准确率高达98.11%。本文即是从上市公司的财务指标入手，通过logistic回归分析和BP神经网络，构建衡量企业信用状况的模型，并通过实证研究考察模型的适用性，对比两者信用风险分类的准确度。

二、研究设计

（一）样本选取和数据来源本研究选取沪深两市A股市场上2005年至2007年三年中部分被进行特别处理的118家ST公司和126家非ST公司，数据主要来源于CSMAR深圳国泰安信息技术有限公司提供的财务指标数据，将118家ST公司的财务数据和126家非ST公司的财务数据划分为训练样本和测试样本。样本集选取如（表1）所示。

（二）变量选取本文采取的财务数据在参考了已有文献以及考虑到实际数据可得性的基础上，选取了能够反映短期还款能力，长期还款能力，盈利能力和营运能力4方面共12个财务指标。指标变量名称及自变量符号具体见表。因变量为0-1变量，信用级别高的设置为1，信用级别低的设置为0。在做logistic回归的时候会进一步运用向后筛选法剔除方差贡献率不大的指标变量。具体如（表2）所示。

（三）模型设定

（1）Logistic回归模型：

（2）多层次前向神经网络。本文所应用的是一种称为前向网络的特殊神经网络结构。本研究应用Rumehhart于1986年提出的如下函数：Ii=wijxj+?准，xi=fi=其中，Ii为神经元i的层输入，xi为神经元的输出，wij为神经元间的连接权，?准为神经元i的偏置。每一条连接弧都被赋予一定的数值来表示连接弧的连接强度，正的权值表示影响的增加，负的权值表示影响的减弱。在前向网络中，神经元间前向连接，同层神经元互不连接，信息只能向着一个方向传播。前向网络的连接模式是用权值向量W来表示的。在网络中，权值向量决定着网络如何对环境中的任意输入作出反应典型的学习算法是搜索权值以找到最适合给定样本的权值。在本研究中应用的是多层前向网络的BP算法，其主要作用是知识获取和推理，采用有导师学习的训练形式，提供输入矢量集的同时提供输出矢量集，通过反向传播学习算法，调整网络的连接权值，以使网络输出在最小均方差意义下，尽量向期望输出接近，通过修改各层神经元的连接权值，使误差减小，然后转入正向传播过程，反复循环，直至误差小于给定的值为止。本文建立的BP神经网络图（见图1）。本文建立财务困境神经网络预警模型主要考虑以下两方面的问题：一是确定网络结构；二是学习参数的调整。首先考虑网络结构的确定。网络结构主要包括连接方式、网络层次数和各层结点数。网络的连接方式代表了网络的拓扑结构，Lippmann（1987）证明在一定条件下，一个三层的BP神经网络可以用任意精度去逼近任意映射关系，而且经过实验发现，与一个隐层相比，用两个隐层的网络训练并无助于提高预测的准确。因此在本研究中采用单隐层的BP网络。各隐含层节点数的选择并无确定的法则，只能结合实验并根据一些经验法则：隐层节点数不能是各层中节点数最少的，也不是最多的；较好的隐层节点数介于输入节点和输出节点数之和的50%~75%之间；隐层节点数的理论上限由其训练样本数据所限定。

三、实证结果分析

（一）logistic模型的参数估计及结果常规的线性判别模型计算得到的Z值只是个抽象的概念，无法从经济学上进行解释，Logistic回归分析解决了这个问题，其前提假设符合经济现实和金融数据的分布规律，残差项小要求服从止态分布。本文运用SPSS自带的Wald向后逐步选择法筛选变量，提高模型的判别性能，从全变量模型开始，逐步提出对残差平方和贡献最小的变量，具体的回归结果见（表2）。以2005年为例，根据SPSS计算结果中的参数表，估计Logistics模型的判别方程，（表3）反映了最大似然迭代记录（显示最后的迭代过程），（表4）反映了参数估计结果。步骤9是经过9步变量筛选后最后保留在模型中的变量。从各个系数的Wald值及伴随概率p来看，最终选定的5个指标变量具有最高的解释能力。综上，2005年公司分类的logistic模型为：p=。从（表5）步骤1及步骤9的分类结果看出，剔除不显著变量之后，分类准确率并未大幅下降，可以认为最终的模型能通过检验。（表6）显示了最终的Logistic模型参数估计结果。（表7）显示了模型分类准确率。

（二）BP神经网络的参数估计及结果首先对输入输出样本进行数据处理，消除影响预测结果的噪声，神经网络输入的变量要求规范在［-1，1］（若使用tanh函数）或［0，1］（若使用logistic函数）之间。本文对输入数据进行标准化处理，采用以下方法：X=。X为规范后的变量，x为每个变量的实际值，x1为每个变量的最小值，x2为每个变量的最大值。Matlab中相应的函数为［output_X，PS］=mapminmax（X，output_min，outpt_max）由于实际财务困境评价往往非常复杂，企业财务状况的好坏与财务比率的关系常常是非线性的，而神经网络作为一种非线形建模过程，并不依赖判别模型的假设，能找出输入与输出的内在联系，因此本文决定尝试使用神经网络技术进行信用状况的分类研究，分为训练集和测试集两组对神经网络进行训练，过程如下：第一，输入层和输出层神经元数目的确定。第一层为输入层，采用判别分析得出的模型变量为输入变量，共有12个结点，每个结点代表相应的财务比率。第三层为输出层，用一个结点表示，训练导师值为0代表信用级别“差”的公司，1代表信用级别“好”的公司。第二，隐含层数和隐结点个数的确定。本文选择单隐层的前馈BP网络；通过学习逐步增加隐神经元数，训练反复调整。最后定为10个隐结点。第三，用训练集的数据训练这个神经网络，使不同的输入向量得到相应的输出值，当误差降到一个指定的范围内时，神经网络所持有的那组权数值就是网络通过自学习得到的权数值，即完成了神经网络的自学习过程。第四，输入待评价的样本（本文直接在输入矩阵中划分为训练），让训练好的神经网络输出企业财务状况的标志（0或1），即实现神经网络的模式分类。神经网络的初始权重由Matlab随机产生的。训练算法采用专用于模式分类的trainscg方法，各种训练参数见（表8）。由此看出，算法逐步收敛，最终达到误差标准见（表9）。

（三）两种模型比较分析 本文对Logistic和BP神经网络分别对我国上市公司的信用状况给予两类模式的评级，最终发现，Logistic和BP神经网络在我国市场上的分类效果相当（见表10）。主流观点认为，人工神经网络具有良好的模式识别能力，可以克服统计等方法的限制，因为它具有良好的容错能力，对数据的分布要求不严格，具备处理资料遗漏或是错误的能力。最为可贵的一点是人工神经网络具有学习能力，可以随时依据新准备的数据资料进行自我学习、训练、调整其内部的储存权重参数以应对多变的企业运作环境。但是本文得出的结果是：传统的Logistic方法和神经网络方法的分类效果相当。现代人工智能方法并未表现出理论上的优势。可能的原因是：网络不稳定，训练样本的仿真准确率很高，但对测试样本的仿真准确率会降低；解释性差，网络最终确定后，每个神经元的权值和阈值虽然已知，但不能很好地分析各个指标对结果的影响程度，对现实问题中的经营管理也就不能起到很好的借鉴作用；网络的输入个数与隐层节点个数的确定没有理论指导，只能通过经验确定。

四、结论

本文选取2005年至2007年部分被进行特别处理的118家ST公司和126家非ST公司，以其财务指标为样本，进行Logistic回归和BP神经网络分类，对这两种信用风险评判模型在中国市场做了实证研究。结果发现：两种模型均适用于中国上市公司两模式分类（ST和非ST公司），而BP神经网络在我国市场上并未体现其分类的优势，分类准确度和Logistic相当。即使如此，本文证实了Logistic和BP神经网络模型对于我国上市公司的评级还是有效的，能够为投资者的科学决策提供建设性的指导意见，使投资者理智地回避风险和获取收益。同时，该判别模型也有利于准确评价一个企业的信用状况，从而为银行等放贷机构提供决策依据。

参考文献：

［1］吴世农、卢贤义：《我国上市公司财务困境的预测模型研究》，《经济研究》2001年第6期。

［2］齐治平、余妙志：《Logistic模型在上市公司财务状况评价中的应用》，《东北财经大学学报》2002年第1期。

［3］庞素琳、王燕鸣、罗育中：《多层感知器信用评价模型及预警研究》，《数学实践与认识》2003年第9期。

第5篇：神经网络研究现状范文

[关键词] 偏头痛；静息态；功能磁共振；综述

[中图分类号] R445.2 [文献标识码] A [文章编号] 1674-4721（2016）05（c）-0013-04

Research progress of migraine resting state fMRI

GONG Yuan-yuan WANG Jun PAN Hui-hui ZHANG Hong LIU Lei SONG Lian-ying ZHANG Li-ping JIANG Gen-di

Department of Radiology，Dongzhimen Hospital of Beijing University of Traditional Chinese Medicine，Beijing 100700，China

[Abstract] Neuroimaging studies of migraine have led to the understanding of the pathogenesis of migraine from pure vascular hypothesis to the hypothesis of neural vessels to the current theory of central nervous system.Based on the advantages of single intervention program，less interference factors，easy to control and so on，the resting state fMRI technology has become a research central hot spot to explore the mechanism of migraine.In this paper，the research progress of migraine with different methods of resting state fMRI is summarized.

[Key words] Migraine；Resting state；Functional magnetic resonance imaging；Summary

偏头痛是一种反复发作的一侧或双侧搏动性疼痛，其疼痛剧烈、反复发作、迁延难愈，且普遍存在睡眠障碍，给患者的日常生活及学习工作造成了严重不良影响[1]，WHO已将其归为功能性致残疾病[2]。目前，偏头痛的发作机制仍不明确。近年来，应用脑功能成像技术探讨偏头痛的中枢病理机制已成为研究的热点[3]，其中静息态功能磁共振成像（resting state-functional magnetic resonance imaging，rs-fMRI）是一种能够无创地研究基线状态脑功能或自发神经元活动的先进技术。本文对近年来偏头痛静息态功能MRI的研究进行综述。

1 静息态脑功能成像技术

1.1 原理

静息态fMRI在不给予执行任务或外界刺激的状态下扫描得出的脑功能成像，能反映不同脑区之间的局部特征及远隔脑区功能的相关性[4]，其反映了静息态时脑组织神经元血氧水平依赖的自发性活动，因此静息态脑功能变化是目前疾病研究的热点之一。

1990年，Ogawa等[5]首次提出应用基于血氧水平对比磁共振成像（blood oxygen level dependent-functional magnetic resonance imaging，BOLD-fMRI）技术研究脑神经的功能活动，开创了活体无创人脑功能成像研究的先河。BOLD-fMRI是利用脑组织中血氧饱和度的变化来制造对比的MRI技术，其基本原理是局部脑组织的氧耗量、脑血流与神经元活动的强弱变化不一致以及血液中含氧和脱氧血红蛋白的磁化率差异，从而引起局部磁场性质发生改变[6]。“静息”状态是让患者保持清醒、安静、闭目，并避免任何有结构思维活动的一种状态。静息态fMRI就是在没有任何任务的情况下，针对被检者在静息状态下大脑组织内部自发产生的脑内血氧水平依赖（blood oxygen level dependent，BOLD）信号进行研究，包括脑部各个区域的功能及相互联系、多个区域组成的神经网络，进一步可涉及全脑的研究[7]。

1.2 静息态fMRI的数据分析方法

静息态fMRI研究偏头痛多根据不同实验目的选择不同的数据分析方法，目前常用的分析方法有以下几种：①基于静息状态的低频振荡振幅（amplitude of low frequency fluctuation，ALFF）分析方法；②基于静息状态的局部一致性（regional homogeneity，ReHo）分析方法；③基于静息状态的种子点相关分析方法（seed based analysis，SBA）；④基于静息状态的独立成分分析方法（independent component analysis，ICA）；⑤时间聚类分析方法（temporal clustering analysis，TCA）；⑥小世界网络分析方法等[8]。

2 静息态fMRI在偏头痛研究中的应用

2.1 基于静息状态的ALFF分析方法

ALFF分析方法的敏感度和特异度相对较高，是应用低频信号的能量强弱反映静息态下大脑神经元自发活动的有效方法，因其与解剖位置相对应，故能准确地反映静息状态下脑功能神经元活动的变化特点[9]。付彩红等[10]应用ALFF分析方法的研究显示，无先兆偏头痛（migraine without aura，MwoA）患者与健康受试者相比，偏头痛患者的多个脑区ALFF值显著增强，尤其是在右侧岛叶、前额叶皮质、内侧前额叶皮质脑区相对集中，该结果与既往研究[11-12]基本一致。同样，Casey等[13]的研究显示，静息态下先兆偏头痛（migraine with aura，MA）患者前额皮质区的ALFF值显著增高，这可能与偏头痛患者疼痛下行调节功能的异常相关。任璐等[14]对偏头痛发作间期病例组与健康对照组进行比较，结果显示，病例组右侧枕中回等部分的脑区低频振幅值显著增高，其中病例组右侧枕中回低频振幅增高值和偏头痛患者的发作频次、年龄呈负相关；病例组以左侧额下回最为显著，左侧部分脑区低频振幅值显著低于对照组，提示静息态下偏头痛患者低频振幅值的改变与疼痛调节相关脑区的功能损伤相关，并伴随视觉皮质兴奋性的改变。相关研究结果显示，ALFF方法可以从局部神经元自发活动的角度观察偏头痛患者局部脑区的功能特征，并且在任璐等[14]的研究结果中，左右脑区低频振幅值的增高和降低完全不同，是否左右大脑半球参与偏头痛病理机制的重点不同有待进一步探讨，但是在已发表的研究结果中，不仅低频振幅异常的脑功能区不尽相同，甚至有的结果完全相反，这是否与试验研究的样本量相对偏少有关还需进一步验证。

2.2 基于静息状态的ReHo分析方法

ReHo分析是根据ReHo值的高低来研究静息状态下脑神经元活动一致性的变化，主要用于分析脑局部活动的差异。Yu等[15]的研究显示，在MwoA患者的静息态脑网络中，右侧前扣带回、前额叶皮质、次级运动皮质等脑区的ReHo值显著降低，且与病程的长短相关。吴宏S等[16]的研究显示，与对照组比较，偏头痛患者的右侧小脑神经元活动一致性降低，提示小脑参与偏头痛的发生发展，同时还推测左侧额上回神经元活动的降低与MwoA患者可能存在潜在的视觉障碍相关。李匡时等[17]的研究结果显示，与健康受试者相比，MwoA患者的左右大脑半球均出现多个脑区的局部一致性减弱，并认为出现局部一致性减低的脑区可能与疼痛调节、传导通路失调及脑功能受损等有关。张茜等[18]将MwoA、MA患者分别与相匹配的健康受试者进行对比，结果发现MwoA组与MA组均有不同脑区的ReHo值显著低于健康对照组，而MA组右侧枕叶的ReHo值显著高于健康对照组；同时MwoA组较MA组右侧小脑、脑干的ReHo值显著增高，其认为静息态下这些功能异常的脑区可能与MA及MwoA患者的疼痛调节功能受损相关，MA与MwoA脑区结果的异同可能反映出两者病理机制的异同。通过研究静息态ReHo值的变化，可发现多个脑区的一致性降低或增高，提示偏头痛患者疼痛处理及调节相关的脑区功能异常。

2.3 基于静息状态的种子点功能连接分析方法

种子点方法[19]是选择感兴趣区（ROI）作为种子点，提取其中BOLD信号的时间序列，再分别和对应全脑的其他体素的时间序列做相关分析，计算全脑与其的功能链接度。默认模式网络主要包括内侧前额叶皮质、扣带回、楔前叶、压部后皮质、内侧颞叶、顶下小叶以及海马等脑区[20]。范凯威[21]对MA患者的静息态fMRI进行研究，结果显示，病例组小脑、岛叶、额叶、扣带回、缘上回、脑干与相关脑区的功能连接发生改变，认为偏头痛患者的脑内功能整合出现异常。任璐等[22]的研究以左侧额下回、右侧枕中回为种子点，发现部分脑区与种子点的连接出现增强或减弱，同样也认为这些连接度异常的脑区导致大脑疼痛信息的整合过程出现改变。张勇等[23]以双侧后扣带回为种子点，与健康受试者相比，MwoA患者在多个脑区与种子点的功能连接度明显降低，说明MwoA患者多个脑区的功能连接度减低，并且这些功能连接度降低的脑区与组成默认模式网络的主体脑区基本吻合。

2.4 基于静息状态的ICA方法

ICA方法是由解决盲源分离（blind source separation，BSS）技术发展而来的一种静息态fMRI数据分析方法[24]，是一种多通道信号处理方法，可以在不需要任何有关时间序列的先验假设下，有效探测出一些其他方法无法得到的激活区域。薛婷[25]选出默认网络、凸显网络和双侧的执行网络共4个感兴趣成分对MwoA患者和正常受试者进行比较，发现无先兆偏头痛患者双侧执行网络的功能连接强度增加，凸显网络的功能连接强度降低；在网络间，默认网络及右侧执行网络与凸显网络内部右侧脑岛区域的连接强度增加，其连接强度与患者的患病时间呈正相关，说明MwoA患者的大脑内部资源出现重新整合，长期的反复疼痛刺激可导致固有功能网络协同加工模式发生异常，引发大脑网络组织模式异常。

2.5 其他方法

近年来，将图论知识应用于功能MRI成像数据分析成为研究的热点，研究人员通过定义人的大脑区域为节点、区域之间的功能连接为边，构建人脑网络[26-27]。陈敦耀等[28]分析了偏头痛患者和正常人各22例的静息态脑功能MRI数据，分别构建两组的脑功能复杂网络，计算和比较两组复杂网络的平均聚类系数、特征路径长度、小世界性、同配性、介数中心度等测度参数，结果显示，与对照组相比，研究组静息态功能复杂网络的平均聚类系数较大，小世界性与同配性等拓扑测度发生改变，尾状核、豆状壳核等节点特征路径长度发生异常，部分区域（如丘脑、枕下回、枕中回）的介数中心度明显增大，研究认为偏头痛患者静息态脑功能网络中发生异常的区域与大脑的疼痛处理、视觉处理以及感觉中继有关，并有助于更好地解释偏头痛的相关临床病症。

3 小结与展望

偏头痛的神经影像学研究使人们对偏头痛病理机制的认识由纯粹的血管假说转变为神经血管假说再到目前的中枢神经系统理论[29]。静息态fMRI技术具有无创、操作简便、干扰因素少、实验成本低、可重复操作等多项优点，已成为探索中枢神经生理、病理机制的重要方法之一，对偏头痛中枢神经系统理论的支持与研究具有重要意义。不同研究方法的结果显示，偏头痛患者的脑功能网络存在特征性变化，并且部分脑功能网络变化与病程的长短具有相关性，静息态fMRI有助于从脑功能层面揭示偏头痛的中枢病理机制，甚至有可能为偏头痛的早期诊断、疗效评价及预后评估等提供重要的神经影像指标。目前，相关文献对偏头痛患者静息态fMRI脑功能的研究主要集中在ALFF、ReHo分析、SBA这三种方法，其他方法相对较少，研究结果也不尽相同，部分甚至相左，且存在偏头痛疾病分型选择不一、样本量较少等问题，今后需要在之前的结果上开展进一步的相关研究，以期更深入地探索偏头痛脑功能网络异常内在的神经机制。

[参考文献]

[1] 张勇，付彩红，刘宏伟，等.川芍定痛饮对肝风挟瘀证偏头痛患者睡眠质量影响的随机对照研究[J].吉林中医药，2013，33（9）：904-906.

[2] Jensen R，Stovner LJ.Epidemiology and comorbidity of headache[J].Lancet Neurol，2008，7（4）：354-361.

[3] Li XL，Fang YN，Gao QC，et al.A diffusion tensor magnetic resonance imaging study of corpus callosum frompatients with migraine complicated with depressive/anxious disorder[J].Headache，2010，51（2）：237-245.

[4] Gravel N，Harvey B，Nordhjem B，et al.Cortical connective field estimates from resting state fMRI activity[J].Front Neurosci，2014，（8）：339.

[5] Ogawa S，Lee TM，Kay AR.Brain magnetic resonance imaging with contrast dependent on blood oxygenation[J].Proc Natl Acad Sci U S A，1990，87（24）：9868-9872.

[6] 周扬，张久权，余琼武，等.屈光参差性弱视面孔刺激大脑皮质激活特征的fMRI研究[J].第三军医大学学报，2008， 30（20）：1874-1876.

[7] Creicius MD，Krasnow B，Reiss AL，et al.Functional connectivity in the resting brain：a network analysis of the default mode hypothesis[J].Proc Natl Acad Sci U S A，2003， 100（1）：253-258.

[8] 江林，张体江.静息态fMRI在神经精神疾病中的研究进展[J].国际医学放射学杂志，2015，38（2）：110-114.

[9] Zou QH，Zhu CZ，Yang YH，et al.An improved approach to detection of amplitude of low-frequency fluctuation （ALFF） for resting-state fMRI：Fractional ALFF[J].J Neurosci Methods，2008，172（1）：137-141.

[10] 付彩红，李匡时，刘宏伟，等.无先兆偏头痛患者的静息态fMRI低频振荡振幅研究[J].中西医结合心脑血管病杂志，2015，13（16）：1833-1836.

[11] Moulton EA，Becerra L，Maleki N，et al.Painful heat reveals hyperexcitability of the temporal pole in interictal and ictal migraine States[J].Cerebral Cortex，2011，21（2）：435-448.

[12] Zhao L，Liu JX，Dong XL，et al.Alterations in regional homogeneity assessed by fMRI in patients with migraine without aurastratified by disease duration[J].J Headache Pain，2013，14（15）：85.

[13] Casey KL.Forebrain mechanisms of nociception and pain：analysis through imaging[J].Proc Natl Acad Sci U S A，1999，96（14）：7668-7674.

[14] 任璐，王志红，程金明，等.偏头痛发作间期的静息态功能磁共振变化[J].中华神经科杂志，2014，47（4）：225-228.

[15] Yu D，Yuan K，Zhao L，et al.Regional homogeneity abnormalities in patients with interictal migraine without aura：a resting-state study[J].NMR Biomed，2012，25（5）：806-812.

[16] 吴宏S，张思硕，彭伟.偏头痛静息态功能磁共振局部一致性分析[J].中国医药导报，2014，11（24）：41-43.

[17] 李匡时，张勇，任毅，等.无先兆偏头痛患者基于皮层的功能磁共振局部一致性研究[J].中西医结合心脑血管病杂志，2015，13（2）：181-184.

[18] 张茜，王志红，张阳，等.有先兆与无先兆偏头痛患者静息态功能磁共振局部一致性观察[J].中华医学杂志，2015，95（39）：3196-3200.

[19] Sch？ipfV，Kasess CH，Lanzenberger R，et al.Fully exploratory network ICA （FENICA） on resting-state fMRI data[J].J Neurosci Methods，2010，192（2）：207-213.

[20] Buckner RL，Andrews Hanna JR，Schacter DL.The brain′s default network：anatomy，function，and relevance to disease[J].Ann N Y Acad Sci，2008，1124（10）：1-38.

[21] 范凯威.有先兆偏头痛患者的静息态功能磁共振研究[D].石家庄：河北医科大学，2014.

[22] 任璐，张肖肖，王志红，等.偏头痛与静息态脑功能连接研究[J].脑与神经疾病杂志，2014，22（3）：188-191.

[23] 张勇，任毅，李匡时，等.无先兆偏头痛患者的静息态默认模式网络研究[J].中西医结合心脑血管病杂志，2014， 12（5）：570-571.

[24] 杨福生，洪波.独立分量分析的原理与应用[M].北京：清华大学出版社，2006.

[25] 薛婷.基于磁共振成像的无先兆偏头痛患者大脑静息状态异常模式研究[D].西安：西安电子科技大学，2013.

[26] Uehara T，Yamasaki T，Okamoto T，et al.Efficiency of a "small-world" brain network depends on consciousness level：a resting-state FMRI study[J].Cerebral Cortex，2014， 24（6）：1529-1539.

[27] Wang J，Qiu S，Xu Y，et al.Graph theoretical analysis reveals disrupted topological properties of whole brain functional networks in temporal lobe epilepsy[J].Clin Neurophysiol，2014，125（9）：1744-1756.

[28] 陈敦耀，杨嘉君，曾卫明，等.基于复杂网络的偏头痛患者脑功能连通性研究[J].中国医学影像学杂志，2015， 23（6）：418-422.

第6篇：神经网络研究现状范文

摘要：随着电力工业的发展，人工神经元网络(ann)在电力系统中获得了广泛的应用。本文概述了人工神经元网络的特点、基本结构以及发展过程，并对ann在电力系统中的具体应用做了详细的话述。最后，对人工神经元网络的发展趋势和在电力系统中的应用前景进行了展望。

关键词：人工神经元网络(ann)　电力系统　应用前景　展望

人工神经网络，是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入一输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果。人工神经网络具有四个基本特征：非线性、非局限性、非定性、非凸性。人工神经网络理论，作为人工智能的一个最活跃的分支，其模拟人脑的工作方式，为解决复杂的非线性、不确定性、不确知性系统的问题开创了一个崭新的途径，因而在电力系统应用研究中受到了广泛的关注。

1.ann发展过程

1943年，心理学家w.s.mcculloch和数理逻辑学家w.pitts建立了神经网络和数学模型，称为mp模型。他们通过mp模型提出了神经元的形式化数学描述和网络结构方法，证明了单个神经元能执行逻辑功能，从而开创了人工神经网络研究的时代。60年代，人工神经网络得到了进一步发展，更完善的神经网络模型被提出，其中包括感知器和自适应线性元件等。1982年，美国加州工学院物理学家j.j.hopfield提出了hopfield神经网格模型，引入了“计算能量”概念，给出了网络稳定性判断。1984年，他又提出了连续时间hopfield神经网络模型，为神经计算机的研究做了开拓性的工作，开创了神经网络用于联想记忆和优化计算的新途径，有力地推动了神经网络的研究。人工神经网络的研究受到了各个发达国家的重视，美国国会通过决议将1990年1月5日开始的十年定为“脑的十年”，国际研究组织号召它的成员国将“脑的十年”变为全球行为。

2.ann的特点与结构

人工神经网络的研究与发展及神经生理科学、数理科学、信息科和计算机科学等众多领域，是一种新的信息处理理论。它所特有的信息处理机制，与传统的数字计算机有着本质的不同。ann网络由大量模拟人脑的神经元互连组成，无独立的用于存储的信息空间，更没有单一执行指令的cpu，每个神经元的结构都十分简单，信息处理与存储合二为一，通过调整连接权值，由整体状态来给出响应信息。ann是一种非线性映射系统，具有强大的模式识别能力，可以对任意复杂状态或过程进行分类和识别。

3.ann在电力系统中的应用

目前，ann已用于负荷预测，警报处理，控制等方面，它已经从研究阶段转为实际应用。

3.1智能控制

在电力系统中利用ann实现智能控制，就是利用其估计和联想的能力，实现系统状态与参数的识别和控制，这已在多种控制结构中如自校正控制、模型跟踪控制、预测控制等控制中得到应用。y m park等采用2个bp网络构成电力系统稳定器(pss)的模型，其中1个在系统功率摆动中估计发电机的输出功率。另一个用于判断并给出控制决策。范澍等应用4层bp网络对发电机运行方式和系统干扰进行精确在线识别，并以此为基础设计了一种最优励磁调节器模型，计算与仿真结果表明，这种调节器比固定点线性励磁方式具有更强的稳定性能和动态品质，在系统运行方式较大的变化范围内都能提供很好的控制性能，在大小扰动下均表现出很好的阻尼特性和良好的电压性能。袁宇春等提出了用ann进行电力系统的实时切负荷控制，选用的是多输入单输出的单层前向神经网络，选取185个样例进行网络训练后，在西北电网模拟某线路故障显示了较好的控制特性。

3.2优化计算

由于ann能够建立任意非线性的模型，并适于解决时间序列预报问题，尤其是随机平稳过程的预报，因此电力系统短期负荷预报是其应用研究的一个重要方面，欧建平等以3个ann构成负荷与天气变化量的周、日、时3个预报分析系统，气象参数和预测周、日、时前某段历史负荷参数作为网络的训练输入参数，各自产生独立的预报，再综合产生最终的预报。姜齐荣等则用ann建立发电机、励磁系统和调速系统的详细模型，把这三部分的模型连接起来并与电力系统网络接口，形成一个ann模型与电力系统网络混联的系统，这种混联系统的暂态稳定计算结果与用常规机理模型的计算结果几乎相同。为实现ann并行、快速、在线处理电力系统实时计算提供新途径。

3.3故障诊断

要保证电力系统的安全运行和实现电力设备由定期检修转变为状态检修，如何准确地进行电力设备的故障诊断，一直是受关注的焦点之一。而这类故障的征兆错综复杂，往往呈现出非线性和不确定性，很难用某一确定的逻辑或算法进行识别。而这种识别恰好是ann所擅长的。ann在电机状态监测与诊断上也获得了成功的应用。何雨傧等提出一种联想记忆神经网络，取零序电流、定子不对称电流及其变化率等电测参数为故障征兆，通过网络的联想能力快速准确地进行电机早期故障的双向诊断，能有效地处理各种模式并存的故障诊断问题。并且容错性好，能有效抑制现场噪声干扰，使诊断系统具有良好的鲁棒性。电网故障诊断中，用全局逼近的bp算法完成故障的快速定位，便于控制人员及时处理故障。

3.4继电保护

继电保护是电力系统安全运行的重要保障之一，随着电力系统的发展，常规的继电保护技术已经不能完全适应需要。党德玉提到一种基于小波变换和ann的保护模型，其输入特征量经过小波变换，也选用了3个三层的bp网络用于判断故障种类，故障性质和故障定位。故障种类和故障性质的判断正确率可达100％，对线性短路故障的位置判断正确率为94％，非线性故障(如经非线性过渡电阻接地)的判断正确率为96％。张海峰等使用3层前向网络构成变压器保护模型，取变压器2端的电流和其他故障特征量进行综合判断。经大量样本训练后，可准确判断变压器的励磁涌流和各种故障。张津春等介绍了ann构成的自适应自动重合闸模型，能较好地判别各种情况下瞬时性故障与永久性故障。

为了解决用电路方法进行巨量神经元连接无法实现的问题，采用光电集成技术制作的光神经元、光互连器件、光神经芯片也已出现，并成功地应用于模式识别、联想记忆等方面。此外，ann在输电容量限制条件下经济调度、基于同步相量测量的电压安全监控、电厂控制、hvdc的电流控制器等方面也得到了研究与应用。

4.ann在电力系统中的发展趋势

ann在电力系统中应用已做了大量的研究，一但是总体上来说仍停留在理论分析和仿真实验上，因此必须加强理论研究与实际工程应用的结合，例如可在状态检修、在线监测等电力系统有较迫切需求的领域中，寻找实际应用的突破口。近几年兴起的小波变换方法，由于其克服了傅里叶变换不能对信号进行局部化分析的缺点。同时具有很强的特征值提取功能，特别适用于故障信号的分析，经小波变换处理后的信号作为神经网络的输入，可使网络大大提高抗干扰性并加速收敛。所以小波分析与ann的结合将在电力系统控制、保护、故障诊断等方而发挥更大的作用。ann与专家系统和模糊控制的综合对电力系统这样一个复杂的动态大系统来说，应用潜力更大。ann的形象思维能力，专家系统的逻辑思维能力和模糊逻辑这三者的结合，可体现出各自的优势，互相弥补各自的不足。

人工神经网络特有的非线性适应性信息处理能力，克服了传统人工智能方法对于直觉，如模式、语音识别、非结构化信息处理方面的缺陷，使之在神经专家系统、模式识别、智能控制、组合优化、预测等领域得到成功应用。人工神经网络与其它传统方法相结合，将推动人丁智能和信息处理技术不断发展。近年来，人工神经网络正向模拟人类认知的道路上更加深入发展，与模糊系统、遗传算法、进化机制等结合，形成计算智能，成为人工智能的一个重要方向，将在实际应用中得到发展。将信息几何应用于人工神经网络的研究，为人工神经网络的理论研究开辟了新的途径。神经计算机的研究发展很快，已有产品进入市场。光电结合的神经计算机为人工神经网络的发展提供了良好条件。

第7篇：神经网络研究现状范文

关键词：计算机网络模型；神经网络算法；分析

中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2016）35-0212-02

计算机网络是人们多年研究科技进步最重要的成果，其被广泛运用到教育、工作、科学等方面，也具有良好的成就。目前，基于服务器的集线式网络具有实现网络互连的功能，但也成为了网络进一步发展的阻碍。虽然大量的信息能够丰富网络中的内容，但是其中的多媒体技术发展却使网络运行力不从心，比如图像、声音等，全面优化计算机网络整体性能是其发展的必要途径。将神经网络算法与计算机网络相结合，能够有效解决大规模复杂性的问题。

1浅析神经网络算法

1.1神经网络算法内涵

思维界认为，人类大脑思维包括灵感思维、逻辑思维、形象思维三种方式，神经网络模拟的就是人类思维的形象思维，是一种非线性动力学系统。神经网络算法指的是逻辑性思维根据逻辑规则推理的过程。神经网络的内容目前被广泛研究，包括建立理论模型、生物原型研究、建立网络模型与算法研究、人工神经网络应用系统等。

优化网络的神经网络主要是Hopfield神经网络，是1982年由美国物理学家提出的，它能够模拟神经网络的记忆机理，是全连接的神经网络。Hopfield神经网络中的每个神经元都能够信号输出，还能够将信号通过其他神经元为自己反馈，那么其也称之为反馈性神经网络。

1.2神经网络优化的基础

Hopfield神经网络其实是一个分线性动力系统演变的过程，通过能量函数分析系统的稳定性，将能量函数看做需要优化的问题目标函数。将能量函数的初始状态转变为稳定点这一过程，就成为求解优化问题过程，这个过程也可以称为在计算机联想记忆基础上解决优化问题的过程。

1.3神经网络优化模型的算法

反馈网络的联想记忆和优化是相对的，通过优化计算得知W，其目的就是为了找出E的最小稳定状态；联想记忆的稳定状态是特定的，要通过一些过程才能够找到适合的W。这个过程中的关键就是将问题的目标函数通过二次型能量函数进行表达。如下式所述：

Hopfield神经网络比较常见的类型有DHNN（离散型）和CHNN（连续性）两种，他们的动态方程分e为：

DHNN（离散型）动态方程：ui=fi（v1，v2，...，vN）

Vi=g（ui），vi∈{0，1}，i=1，2，...，N

式子中的gi表示为阶跃函数，vi=g（ui）[（1， ui>0）（0， ui

CHNN（连续性）动态方程：dui/dt=fi（v1，v2，...，vN）

Vi=gi（ui），i=1，2，...，N

式子中的gi表示为常用函数sigmoid，vi=gi（ui）=1/2[1+tanh（ui/u0）]，u0表示的为可控函数的斜率，当u0=0的时候，gi就为阶跃函数。【1】

1.4神经网络算法的优化步骤

其一，通过合适的问题将方法表述出来，使神经网络的输出和这一问题的解相互对应；

其二，创建有效的能量函数，要求问题的最优解能够对应最小值；

其三，使用有利条件和能量函数创建网络参数；

其四，创建对应的动态方程和神经网络；

其五，使用有效的初值，要求网络根据动态方程进行验算，直到收敛。

2基于神经网络算法的网络流优化模型

网络流优化模型的关键就是最小切割、图的划分和最大流问题，下面一一描述：

最小切割：最小切割是指寻找使隔集容量达到最小的切割。图的切割是指划分一个N―n1Un2，一个隔集为一组弧（i，j），i∈n1，j∈n2，隔集弧的权值总和为它的容量。使N=（W，T）是T=0的网络，要求能量最小为N图的最小切割。

图的划分：图的划分指的是将图划分为K个部分，要求每个部分中的节点数都相等。

最大流问题。要求有向图G（v，e）中的开始点为S，结束点为Z，边容量为Cij。如果每条边都有非负数fij，并且每条边为fij≤Cij且除了S和Z之外具有∑fij=∑fki。当S和Z有∑fsi=∑fiz=W的时候，W的最大值≤任何切割的容量。【2】

3基于神经网络算法的动态路由选择模型

通信网中的物理网络的连接一般是点到点，其可以用无向图G=（v，e）来表示，将交换节点表示为顶点，通路表示为边，每一边都有最大容量，为了能够满足网络中点和点能够相互通信，还E能够根据网络业务的量和用户呼叫为基础进行路由安排。现在一般使用的都是静态方式，能够提供给动态路由一些可能性，其的优化模型是：

如果网络图是G=（v，e），而且对网络中的边进行编号，路径经过的边表示为1，路径不经过的边表示为0，L*M神经元表示为L需要这多个路由，将备选的路由数量表示为M，如果通信网中具有N个节点，那么目标函数就是E=E1+E2+E3。【3】

4结束语

基于神经网络算法的优化网络模型有着简单、稳定、快速、规范的优势，其与其他算法相结合，能够较大程度的提高计算机网络模型的整体性能。但是Hopfield神经网络算法中的优化网络模型并不严格，它有着核心策略下降的缺点，那么在使用过程中会出现网络收敛的最优解呈局面状态、网络收敛解不可行、网络参数的不正当选择会导致偏差等，所以在今后就要深入研究计算机网络模型中的神经网络算法，使其更加完善。

参考文献：

[1]丁建立.基于神经网络算法的计算机网络优化模型研究[J].洛阳师范学院学报，2003， 22（2）：59-62.

第8篇：神经网络研究现状范文

关键词：神经网络；VC维；数据挖掘

中图分类号：TP183文献标识码：A文章编号：1009-3044(2008)30-0710-02

A Review of the Research and Development of the Artificial Neural Nets

WANG Hui

(Xinjiang Petroleum Institute,Urumqi 830000,China)

Abstract: This paper reviews the history and the current situation of the theory of neural nets. It discusses two aspects: the Vapnik-Chervonenkis dimension calculation and the data mining in neural nets. It also touches upon such research areas as calculation theory, methods and application of neural nets.

Key words: neural nets;Vapnik-Chervonenkis dimension;Data Mining

1 引言

本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。1943年McCulloch和Pitts结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch和Pitts证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生。

2 发展历史及现状

2.1 人工神经网络理论的形成

早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。其中，神经生物学家McCulloch提倡数字化具有特别意义。他与青年数学家Pitts合作[1]，从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP模型，他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。50年代初，神经网络理论具备了初步模拟实验的条件。Rochester，Holland与IBM公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb的学习规则，在IBM701计算机上运行，取得了成功，几乎有大脑的处理风格。但最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点。再往下做试验，便受到计算机的限制。人工智能的另一个主要创始人Minsky于1954年对神经系统如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt建立的感知器(Perceptron)的学习模型作了深入分析。

2.2 第一阶段的研究与发展

1958年计算机科学家Rosenblatt基于MP模型，增加了学习机制，推广了MP模型。他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。他提出的感知器模型，首次把神经网络理论付诸工程实现。1960年Widrow和Hoff提出了自适应线性元件ADACINE网络模型，是一种连续取值的线性网络，主要用于自适应系统。他们研究了一定条件下输入为线性可分问题，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪声，它还可应用在天气预报方面。这是第一个对实际问题起作用的神经网络。可以说，他们对分段线性网络的训练有一定作用，是自适应控制的理论基础。Widrow等人在70年代，以此为基础扩充了ADALINE的学习能力，80年代他们得到了一种多层学习算法。

Holland于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中，建立了遗传算法理论。遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向。1976年Grossberg提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised学习方式。本质上说，仍是一种unsuperrised学习方式。随后，他与Carpenter一起研究ART网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型。另外还有Werbos提出的BP理论以及提出的反向传播原理；Fukushima 提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。

2.3 第二次研究的高潮阶段

Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架，随后，引起许多学者研究Hopfield 网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP完全组合优化问题的求解。这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。这是一种很有效的近似算法。1984年Hinton等人提出了Boltzmann机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。

1986年Rumelhart和McClelland 合著的Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition两卷书出版，对神经网络的进展起了极大的推动作用。它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。他们建立了并行分布处理理论，主要致力于认知的微观研究。尤其是，Rumelhart提出了多层网络Back-Propagation法或称Error Propagation法，这就是后来著名的BP算法。

2.4 新发展阶段

90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题已取得了突出的成果，它是一个重要的研究领域。1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP 参数在线调节方法。尤其是进化计算的概念在1992年形成，促进了这一理论的发展。1993年诞生了国际性杂志Evolutionary Computation。近几年它成为一个热点研究领域。1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。

从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。

3 神经网络的发展趋势

3.1 神经网络VC维计算

神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高。最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题 。PAC(Probably Approximately Correct)学习模型就是这样一个框架。作为PAC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkis dimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构。

Anthony将VC维定义为：设F为一个从n维向量集X到{0, 1}的函数族，则F的VC维为X的子集E的最大元素数，其中E满足：对于任意S?哿E，总存在函数fs ∈F，使得当x ∈ S时fs(x) =1，x?埸S但x∈E时fs(x) =0。

VC维可作为函数族F复杂度的度量，它是一个自然数，其值有可能为无穷大，它表示无论以何种组合方式出现均可被函数族F正确划分为两类的向量个数的最大值。对于实函数族，可定义相应的指示函数族，该指示函数族的VC维即为原实函数族的VC维。

3.2 基于神经网络的数据挖掘

1996年，Fayyad、Piatetsky-Shapiro和Smyth对KDD(Knowledge Discovery from Databases)和数据挖掘的关系进行了阐述。但是，随着该领域研究的发展，研究者们目前趋向于认为KDD和数据挖掘具有相同的含义，即认为数据挖掘就是从大型数据库的数据中提取人们感兴趣的知识。

数据挖掘的困难主要存在于三个方面：首先，巨量数据集的性质往往非常复杂，非线性、时序性与噪音普遍存在；其次，数据分析的目标具有多样性，而复杂目标无论在表述还是在处理上均与领域知识有关；第三，在复杂目标下，对巨量数据集的分析，目前还没有现成的且满足可计算条件的一般性理论与方法。在早期工作中，研究者们主要是将符号型机器学习方法与数据库技术相结合，但由于真实世界的数据关系相当复杂，非线性程度相当高，而且普遍存在着噪音数据，因此这些方法在很多场合都不适用。如果能将神经计算技术用于数据挖掘，将可望借助神经网络的非线性处理能力和容噪能力，较好地解决这一问题。

4 结束语

经过半个多世纪的研究，神经计算目前已成为一门日趋成熟，应用面日趋广泛的学科。本文对神经计算的研究现状和发展趋势进行了综述，主要介绍了神经网络VC维计算、基于神经网络的数据挖掘领域的相关研究成果。需要指出的是，除了上述内容之外，神经计算中还有很多值得深入研究的重要领域，例如：与符号学习相结合的混合学习方法的研究；脉冲神经网络(Pulsed Neural Networks)的研究;循环神经网络(Recurrent Neural Networks)的研究等；神经网络与遗传算法、人工生命的结合；支持向量机(Support Vector Machine)的研究；神经网络的并行、硬件实现；容错神经网络的研究。

参考文献:

[1] McCulloch W S, Pitts W. A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 1943.

[2] N.维纳著，郝季仁译，控制论，科学出版，1985.

[3] Von Neumann J. The General and Logical Theory of Automata, Cerebral Mechanisms in Behavior; The Hixon Sympsium, 1951.

[4] Hebb D O. The Organization of Behavior, New York:Wiley, 1949.

[5] 陈世福，陈兆乾. 人工智能与知识工程[M]. 南京: 南京大学出版社，1998.

[6] Simon Haykin.神经网络原理[M].机械工业出版社（第二版），2004.

第9篇：神经网络研究现状范文

    自20世纪50年代以来,世界旅游业发展迅速。蓬勃发展的旅游业给目的地带来经济效益与社会效益的同时,也给旅游风景区的自然生态环境造成了威胁。怎样协调好经济效益、社会效益和生态环境三者的关系,是我们亟待解决的问题。许多旅游景点的游客量呈现持续增长的趋势,但这种增长并不是一条直线,往往表现为在旺季人满为患,在淡季却门庭冷落。游客数量在时间上的不均衡波动给景区管理带来很大挑战。要实现风景区科学规划与永续利用,需要把握游客的时空变化规律,准确预测游客数量。其中短期游客量的预测是景区进行资源科学管理与合理调度的基本依据,对此进行深入研究有重要的现实意义。

    2问题提出与解决框架

    2.1研究区域九寨沟位于四川省阿坝藏族羌族自治州九寨沟县境内,海拔在2000米以上,沟内遍布原始森林,分布了108个湖泊,是我国被列入世界遗产名录的着名旅游风景区之一。九寨沟一年四季景色都十分迷人,各个季节有不同的景致,因此游客络绎不绝,其中以4月至11月游客量最多(章小平,朱忠福,2007)。图1研究路径

    2.2问题提出国内外学者对旅游景区容量及游客量预测问题的研究始于20世纪60年代,几十年的发展取得了丰富的成果,如Law(1999)利用神经网络模型预测游客需求,Mello(2001)使用向量自回归方法预测英国旅游者的长期旅游需求及目的地份额,Stucka(2002)使用了计量经济学中普通最小二乘法(OLS)与相似非相关模型(SUR)来预测克罗地亚的旅游需求。国内学者的研究成果也比较丰富,如楚方林研究发现非季节性自回归移动平均结合模型能获得较优的预测结果(ChuFonglin,1998),王朝宏使用模糊时间序列与混合灰色理论预测到台湾的美国和香港游客的旅游需求(WangChao-Hung,2004),曾忠禄、郑勇(2009)使用计量经济学模型预测了内地赴澳门的游客量,雷可为、陈瑛(2007)应用了BP神经网络和ARIMA组合模型预测中国入境游客量,颜磊等(2009)提出了小波分析法并用此方法分析了九寨沟景区游客旅游时间流的特征,胡小猛等(2006)通过研究得出三个主要阻碍上海居民去崇明岛旅游的障碍因素,得出了游客量与潜在游客规模及各类阻碍相关的预测模型。这些方法大多以预测某地游客量的发展趋势以及分析影响这些地区游客量的因素为主。虽然国内外学者对年际游客量的预测形成了丰富的成果,但是对日游客量的预测问题鲜有研究。随着游客的旅游方式的变化,影响一个地区游客量的因素已经不仅仅是由旅游的季节性因子和景区基础条件所决定,各种社会因素、自然突发状况也会对一个景区的游客量产生重要影响(吴耀宇,黄震方,2010)。本文研究日游客量的预测问题正是基于对上述变化的思考。考虑季节与季节之间的

    2.3解决框架本研究通过实地调查和数据采集获得研究数据。采用逐步回归法对日游客量预测建立回归模型,再利用BP神经网络对回归模型计算出的预测结果进行误差的修正,最后将修正出来的结果作为最终预测的日游客量。图1为本文的研究路径。

    3实证研究

    3.1多元线性回归模型本研究通过实地调研采集了大量数据,其中包括九寨沟2009年和2010年上半年日游客量数据、九寨沟2009年和2010年每日的气象数据,全国2009年和2010年法定假日的数据等。有研究表明气候的季节性固然会一个景区游客量的大小产生重要的影响,但是也应该加大对社会因素、自然突发状况的关注。因此本文重点考虑社会因素和自然突发状况对游客量的影响,设定出与游客量波动有关的主要因子。影响游客量的因子在季节与季节之间差异大,在相邻两日之间差异小,因此在考虑到景区前后两日季节性因子相差不大的情况下,设定出前日游客数量级、前日温度、前日降雨等因子,再考虑到前后两日的社会因子可能会因为放假等原因而产生差异的情况,设定出法定假日、寒暑假、旅游淡旺季等几个因子。由于自然突发状况无法准确预测以及定量,因此将其作为影响随机误差的一个因子。综合考虑上述因素对景区游客量的影响之后,得出了可能影响九寨沟日游客量的因子。本文通过研究2009年数据来建立模型。首先利用SPSS软件分别对设定的因子与九寨沟游客量之间进行相关性分析,得到前日温度、前日降雨、法定假日、前日游客数量级、寒暑假、旅游淡旺季几个与九寨沟游客量相关性较高的因子。然后将九寨沟实际游客量的数据和因子导入SPSS,通过模块—逐步回归建立回归模型。逐步回归的基本思想是,在考虑对Y已知的一群变量(X1…Xk)回归时,从变量X1,…,Xk中,逐步选出对已解释变差的贡献最大的变量进入回归方程,并且同时满足偏解释变差的F统计量的值fj的显着性概率p小于等于选定的显着性水平α。采用逐步回归法,在显着性水平α为0.05水平下,一共有4个因子依次进入回归方程,依次是前日游客数量级、法定假期、前日温度和旅游淡旺季,从模型汇总表中可以看出,最后一个包含了以上4个因子的回归模型的判定系数R=0.919,校正判定系数R2=0.918,各种影响因子对实际游客量的回归效果良好。检验模型的多重共线性、异方差性和序列相关性,三个问题均不存在。模型方差检验、回归系数检验也都通过。根据高斯-马尔柯夫(BLUE)定理,回归系数表所求得的回归系数具有最优性、线性和无偏性。以上从SPSS中获取的结果证明通过多元回归得出的模型拟合度比较高,结果比较理想。最后根据回归系数得出的多元回归方程为:y=-14394.805+781.351x1+1143.616x2+45.851x3+416.860x4+μ(1)其中y为预测的日游客量,x1为前日游客数量级,x2为法定假期,x3为前日温度,x4为旅游淡旺季,μ为随机误差。

    3.2BP神经网络修正理论已证明,三层BP网络可以以任意精度逼近任何连续函数(张兴会,等,2004)。以多元回归模型的预测误差作为输入的学习样本,在神经网络中经过不断修正可以得到更好的预测结果。BP神经网络可以从大量的离散实验数据中,经过学习训练,提取其领域知识,并将知识表示为网络连接权值的大小与分布,建立起反映实际过程内在规律的系统模型。BP网络可以包含不同的隐层,理论上已经证明,在不限制隐层节点数的情况下,只有一个隐层的BP网络可以实现任意非线性映射。在模式样本相对较多的情况下,较多的隐层节点,可以实现模式样本空间的超平面划分,因此本文使用具有单隐层的BP网络来实现对多元线性回归模型的修正(陈如云,2007)。图2为BP神经网络原理示意图,其中Wij是输入层到隐层的权重,Wjl是隐单元层到输出层的权重。

    3.2.1训练样本归一化原始样本中数据为预测游客量的误差均大于1,而BP神经网络所处理的是数值在[-1,1]区间的数据,因此这些样本数据在研究中都需要将它们转化为区间之间的数据。本文对样本数据采用的归一化公式如下:式中I为原始误差输入数据,I^为归一化后的输入数据,g为原始样本期望目标数据即实际游客量,g^为归一化后的期望目标数据。

    3.2.2网络训练本文采用三层的神经网络进行建模,对游客数量预测误差进行修正。采用2009年数据作为训练样本,因数据量比较大,隐层神经元的节点个数n2要尽量多,故本文选择n2=150,这里的隐层神经元节点个数不是固定的,要根据实际训练的检验修正。输入层神经元节点个数n1=5,输出层神经节点个数n3=1,将1月1日-5日、2日-6日、3日-7日等的游客数量预测实际误差作为网络输入,以6日、7日、8日等的实际游客量作为网络输出,组成样本数据对网络进行训练,最后得出预测误差。采用MATLAB测试,输入层到中间层和中间层到输出层的传递函数均受用正切函数,学习率设为0.5,训练次数设为5000,训练目标误差为1×1010。使用MATLAB进行神经网络训练得到归一化处理过的输出层数据,首先需要对输出层数据还原,根据归一化公式得到还原公式:式中I为还原的神经网络输出数据,I*为神经网络原始输出数据。经过MATLAB的处理,将预测误差与回归模型预测值相加,得到最终预测值。

    3.3模型验证

    3.3.1回归部分将2010年数据带入回归方程,通过计算得出游客量预测值。下图3所示为根据回归方程(1)计算得到的2010年上半年日游客量的实际值与预测值之间的对比图,其中y为预测游客量,g为期望目标数据,即实际游客量,横坐标为日期的序列值,纵坐标为游客数。

    3.3.2BP神经网络部分要预测某天的游客数量误差,应该将回归模型预测的前五日实际误差作为神经网络输入,经过神经网络的运算之后得到输出为当日游客量预测误差,将此输出的预测误差与回归模型的当日游客量值进行相加或相减,得到最终游客量预测值。图4是经过BP神经网络修正前后的两个日游客量预测值的对比图,其中,y为多元回归预测值,Y为BP神经网络修正值,横坐标为日期的序列值,纵坐标为游客数。由图4可以看到经过BP神经网络修正前后的游客数变化趋势是基本一致的,只是在游客数的多少上存在差别。下图5为经多元回归模型预测,BP神经网络修正后的最终预测到达人数(Y)与九寨沟实际到达人数(g)对比图,横坐标为日期的序列值,纵坐标为游客数。从多元回归模型的预测到BP神经网络的修正,预测值与实际值的变化趋势是基本一致的,从图2与图5的对比可以看出:九寨沟游客每年实际到达人数呈现出多峰性;实际到达人数与预测到达人数所呈现出的峰值是基本一致的;二者的对比图显示二者在数量上的预测也基本准确。而且经BP神经网络修正后,游客到达预测值与游客实际到达值之间更为接近,通过计算,可以得到神经网络模型对预测值修正后误差显着变小,经计算得修正预测值与实际值的平均误差率为2.05%。其中误差在1%以内的占总预测量的33.5%。误差在2%以内的占65.9%,误差在10%以上的占0.6%。分析有如下几个可能产生误差的原因:(1)由于回归模型选择的影响因子而造成的预测误差。影响一个地区游客量的因素众多,并不能全部被挑选出来,因此影响因子的选择是造成误差的一个最主要原因。(2)自然突发状况。由于自然突发状况存在突发性和偶然性,事先很难准确预测,也是一个误差来源。(3)除法定假日以外的周末。由于周末多是九寨沟周边城镇的游客去旅游,而去九寨沟所花的时间可能较多,因此周末可能不是一周当中游客最多的时候,但是周末会对游客量有一定影响。(4)单位组织旅游。现在许多单位都会选择一个相对于自身合适的时间组织员工集体旅游。(5)地震的残留影响。