神经网络文本分类精选(九篇)

第1篇：神经网络文本分类范文

（1.克拉玛依职业技术学院，新疆克拉玛依834000；2. 新疆农业大学机械交通学院，新疆乌鲁木齐830052）

摘要：学习向量量化（LVQ）神经网络可以通过监督学习完成对输入向量模式的准确分类，提出了一种基于改进的LVQ神经网络的发动机故障诊断方法，介绍了LVQ神经网络及其改进的学习算法。以长城哈佛GW2.8TC型发动机为实验对象，让发动机在怠速状况下，对发动机进行故障设置，利用金德KT600电脑故障诊断仪采集发动机数据流，运用改进的LVQ神经网络建立诊断模型，诊断结果表明，改进的LVQ神经网络能对发动机故障做出正确分类，准确率比较高。

关键词 ：改进的LVQ神经网络；发动机；故障诊断；神经元

中图分类号：TN98?34 文献标识码：A 文章编号：1004?373X（2015）17?0107?03

0 引言

人工神经网络（Artificial Neural Networks，ANNs），也称为神经网络（NNs），是模拟生物神经网络进行信息处理的一种数学模型。它以对大脑的生理研究成果为基础，目的在于模拟大脑的某些机理与机制，实现一些特定的功能。由于人工神经网络具有联想记忆功能、优化计算能力以及其他的一些性质，所以人工神经网络具有较强的分类识别功能。学习向量量化（LVQ）神经网络是常用的一种神经网络，LVQ神经网络是一种有导师训练竞争层的方法，竞争层自动学习识别输入向量，并对输入向量分类。

本文以长城哈佛GW2.8TC 型发动机为例，运用LVQ神经网络对发动机进行故障诊断。

1 LVQ 神经网络

1.1 LVQ神经网络结构

LVQ神经网络是两层的网络结构，即竞争层和线性层。竞争层对输入向量进行学习分类，把竞争层的分类称为子分类；线性层根据用户的要求将竞争层的分类结果映射到目标分类结果中，把线性层的分类称为目标分类。LVQ神经网络结构如图1所示。

由图1可以看出，竞争层和线性层每一类别各有一个神经元，竞争层通过学习，可以得到S1类子分类结果；然后，线性层将S1类子分类结果再分成S2类目标分类结果（S1始终大于S2）。例如，假设竞争层的第1，2，3个神经元对输入空间的子分类所对应的线性层的目标分类为第2类，则竞争层的第1，2，3个神经元与线性层的第2个神经元的连接权将全部为1，而与其他线性层神经元的连接权全部为0，这样，当竞争层的第1，2，3 个神经元中的任意一个神经元在竞争中获胜时，线性层的第2个神经元将输出1。

1.2 LVQ神经网络学习算法的改进

LVQ 神经网络学习算法的改进是在LVQ1 的基础上进行的，它可以改善LVQ1学习结果的性能。改进的LVQ网络的学习过程与LVQ1类似，在应用LVQ1 进行学习后，再用改进的LVQ 网络进行学习，不同的是，改进的LVQ 是针对最接近输入向量的两个相邻神经元的权值进行的，其中一个神经元对应正确的分类模式，另一个神经元对应错误的分类模式，而输入向量位于定义的窗口时，有：

这样，如果给定两个很相近的输入向量，其中一个对应正确的分类，而另一个对应错误的分类，则改进的LVQ也能对靠的非常近，甚至对刚刚可分的模式进行正确地分类，从而提高分类结果的鲁棒性。

2 改进的LVQ 神经网络在发动机故障诊断中的应用

基于改进的LVQ神经网络在发动机中的故障诊断仿真步骤如下：

（1）让发动机处在怠速状态下，并对其进行故障设置，用电脑检测仪及其他设备测出发动机有无故障时的数据流参数；

（2）用改进的LVQ神经网络建立诊断模型，并用已知的样本数据训练网络；

（3）用训练好的网络对发动机进行故障诊断，并对训练结果进行分析。

2.1 发动机故障设置及采集样本

为了验证改进的LVQ神经网络在发动机故障诊断中的可行性，本文以长城哈佛GW2.8TC 型发动机为研究对象，让发动机在怠速状况下，对发动机进行故障设置，并利用金德KT600故障诊断仪采集发动机数据流。以发动机在正常怠速、油门踏板1接地线开路、凸轮轴传感器线路故障、1缸喷油器线路故障、冷却液温度传感器线路串联某阻值电阻和油门踏板插头开路六种状态下，采集发动机数据流，采集到的样本数据如表1所示。

2.2 程序设计

在Matlab环境中，调用LVQ神经网络工具箱，创建的代码如下：

在代码中，p 中数据为样本数据；t 中以1表示正常状态，以2表示故障状态；T=ind2vec（t）为使t 中的向量转换成学习向量量化网络使用的目标向量；net=newlvq（）为创建LVQ 神经网络，神经元数目设置为20，0.17 和0.83，分别表示所采集的样本种类中正常状态和故障状态所占的比例，网络学习率设为0.5；net=init（net）为网络初始化，使其每次训练时权值都是随机的，这样可以达到预期的目标；网络训练步数设置为200；训练间隔设置为50；训练目标设置为0；网络设置好后，开始训练网络，运行程序后所得的网络训练状态图如图2所示，训练曲线如图3所示。

由图2和图3所示，网络训练只训练了8次，用时不到1 s，就达到了预期目标，可见，用改进的LVQ神经网络进行故障诊断，速度非常快，精确度很高。

3 结语

LVQ神经网络将监督学习和无监督学习结合起来，可以完成对输入向量模式的准确分类。本文以长城哈佛GW2.8TC 型发动机为实例，并对发动机进行故障设置，采集数据流，介绍了LVQ神经网络及其改进的学习算法，运用改进的LVQ神经网络建立诊断模型，诊断结果表明，改进的LVQ 神经网络能对发动机故障进行模式识别和准确分类，诊断结果完全正确，而且训练速度极快。改进的LVQ 神经网络具有较高的研究价值，该方法不仅可以运用到汽车诊断领域，而且可以运用到其他故障诊断领域。

参考文献

[1] 董长虹.神经网络与应用[M].北京：国防工业出版社，2005.[2] 史忠植.神经网络[M].北京：高等教育出版社，2009.

[3] 孙祥，徐流美，吴清.Matlab 7.0[M].北京：清华大学出版社，2005.

[4] 周开利，康耀红.神经网络模型及其Matlab仿真程序设计[M].北京：清华大学出版社，2005.

[5] 张德丰.Matlab神经网络应用设计[M].北京：机械工业出版社，2009.

[6] 李国勇.智能控制及其Matlab实现[M].北京：电子工业出版社，2005.

[7] 舒宁，马洪超，孙和利.模式识别的理论与方法[M].武汉：武汉大学出版社，2004.

[8] 蒋宇，李志雄，唐铭.LVQ 神经网络在滚动轴承故障诊断中的应用研究[J].机械科学与技术，2011（3）：408?411.

第2篇：神经网络文本分类范文

关键词：粒子群 径向基 神经网络 语音识别

中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2013）04-0109-02

近年来，语音识别作为一种便捷的人机交互方式被大量研究，并在日常生活中得到广泛应用。大体上讲，语音识别就是在给定的语料库中找出与待识别词语相同的语料，其识别方法的选择对识别效果至关重要。语音识别的方法主要有3种：基于语音特征和声道模型的方法、模板匹配的方法和人工神经网络[1]。第1种方法出现较早，但由于其模型过于复杂，并未得到实际应用。第2种方法较为成熟，主要通过动态时间规整（DTW）、隐马尔可夫模型（HMM）和矢量量化（VQ）技术实现[2]。第3种方法充分利用人工神经网络较强的分类能力和输入——输出映射能力，非常适合解决语音识别这类难以用算法描述而又有大量样本可供学习的问题[3]。

因此，本文将智能领域广泛使用的RBF神经网络运用到语音识别中，针对RBF神经网络隐层基函数的中心值和宽度随机确定的缺陷，运用具有全局寻优能力的粒子群算法（PSO）进行优化，来提高网络的泛化能力和收敛速度，从而提高识别率。实验结果表明，粒子群优化的RBF神经网络用于语音识别，能够显著提升识别性能。

1 粒子群优化RBF神经网络

1.1 RBF神经网络

1.2 粒子群优化RBF网络算法

因此，RBF神经网络隐层基函数中心值和宽度的优化过程就是PSO算法依据输入样本进行聚类的过程，其基本流程为：

（1）参数初始化，包括粒子速度、位置，个体最优位置和全局最优位置；

（2）据（5）式计算惯性权重；

（3）据（3）（4）式更新粒子的速度和位置；

（4）据（6）式计算各粒子适应度值，并更新个体最优位置和全局最优位置；

（5）用全局最优粒子代替本次迭代适应度差的粒子；

（6）反复迭代，直到最大迭代次数则停止，得聚类中心。

2 PSO优化RBF语音识别系统

语音识别过程主要包括信号预处理、特征提取、网络训练及识别[6]。预处理主要对语音进行分帧、预加重和加窗处理。特征提取用于提取语音中反映声学特征的相关参数，本文采用的是过零峰值幅度（ZCPA）。网络训练是在识别之前从语音样本中去除冗余信息，提取关键参数，再按照一定规则对数据加以聚类，形成模式库。网络识别是通过已训练好的网络，计算测试样本数据与模式库之间的相似度，判断出输入语音所属的类别。粒子群优化RBF神经网络的语音识别系统原理框图如图1所示。

PSO优化RBF神经网络进行语音识别的实验步骤如下：

第1步：提取特征。

首先对用于训练和识别的各种信噪比的语音文件进行ZCPA特征提取。语音信号的采样频率为11.025kHz，每帧为256个采样点，经过时间和幅度归一化处理后，得到256维特征矢量序列。

第2步：网络训练。

网络训练的过程就是调整RBF神经网络基函数的中心和宽度以及隐层到输出层之间的连接权值。实验中，类别数为待识别的词汇数，如对10个词进行识别，则隐层节点数、输出层节点数和聚类中心均为10，如对20个词进行识别，则隐层节点数、输出层节点数和聚类中心均为20，以此类推，本文对10词、20词、30词和40词分别进行训练识别。利用PSO优化算法通过聚类获取隐层基函数的中心值和宽度，网络输出权值使用伪逆法得到。在PSO算法中，种群大小为20，最大进化迭代次数为40。

第3步：网络识别。

RBF神经网络训练好后，将测试集中的样本输入网络进行识别测试。每输入一个单词的特征矢量，经过隐层、输出层的计算后可得一个单词分类号，将这个分类号与输入词自带的分类号进行对比，相等则认为识别正确，反之，识别错误。最后将识别正确的个数与所有待识别单词数的比值作为最终的识别率。

3 实验仿真分析

本文运用matlab在PC机上仿真实现了PSO优化RBF神经网络的孤立词语音识别系统，选用在不同高斯白噪声条件下（包含15dB、20dB、25dB和无噪声），18个人分别录制40词各三次，形成实验语音数据，实验时选其中10人的10词、20词、30词、40词语音数据分别作为训练样本，另外8个人对应的10词、20词、30词、40词语音数据分别作为测试样本进行实验，得到了不同噪声和词汇量下的粒子群优化RBF神经网络的语音识别结果。

表1所示为在不同词汇量和不同SNR下，分别基于PSO优化RBF神经网络和标准RBF神经网络采用ZCPA语音特征参数的语音识别结果。由表中识别率的变化可知，基于PSO优化的RBF神经网络的识别率在不同词汇量和不同信噪比下都比标准RBF神经网络的高，正确识别出的词汇量明显增多，这充分证明改进后的RBF神经网络具有自适应性和强大的分类能力，缩短网络训练时间的同时，提高了系统的识别性能，尤其在大词汇量的语音识别中表现出更加明显的优势。

4 结语

本文采用粒子群优化算法来聚类RBF神经网络隐层基函数中心值和宽度，并将PSO改进的RBF神经网络用于语音识别中。通过仿真实验，得出了其与标准RBF神经网络在不同词汇量和不同SNR下的语音识别结果。通过分析比较，证明了PSO优化后的RBF神经网络有较高的识别率，且训练时间明显缩短，表明神经网络方法非常适宜求解语音识别这类模式分类问题。

参考文献

[1]Edmondo Trentin， Marco Gori. A survey of hybrid ANN/HMM models for automatic speech recognition[J].Neurocomputing，2001，（37）：91-126.

[2]王凯.免疫粒子群改进LBG的孤立词语音识别算法研究[J].数字技术与应用，2013，（1）：111-113.

[3]夏妍妍，黄健，尹丽华.基于径向基函数神经网络的语音识别[J].大连海事大学学报，2007，（S1）：157-159.

[4]孟艳，潘宏侠.PSO聚类和梯度算法结合的RBF神经网络优化[J].自动化仪表，2011，（02）：6-8.

第3篇：神经网络文本分类范文

关键词：乳腺癌；神经网络；自动分类

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2013）33-7558-02

现代社会生活节奏的加快，女性患乳腺癌的几率也随之变大。乳腺癌已成为影响现代女性健康的一大杀手。根据中国抗癌协会公布的相关数据显示，近年来，我国乳腺癌的发病率正以每年3%的速度递增，发病人群呈现年轻化的趋势。乳腺癌已成为现代城市中死亡率增长最快的癌症 [1]。医生在采取治疗措施之前，必须能够快速的对乳腺癌的种类进行确定，这对治疗乳腺癌的有效治疗手段的选择至关重要。传统的有效分类方法是穿刺，但是此类方法往往耗时，通常需要3天左右，并且病人需要克服对穿刺的心理恐惧。因此应用机器进行快速学习分类的乳腺癌辅助诊断方法应运而生。

作为一种常用的机器自动分类方法基于人工神经网络模型的分类方法是基于仿生学理论来实现，在对人类大脑工作机制进行高度仿真的基础上，完成对网络的训练，使训练后的神经网络能够展现出人类大脑的功能，比如感知学习、逻辑推理等等。基于所采用的样本相似性，人工神经网络技术可以利用各种融合结构来完成网络权值的表述，具体步骤为：（1）、利用神经网络中的特定算法完成知识的获取，得到必须的不确定性推理机制；（2）、根据得到的推理机制完成融合过程，对网络权值进行修正，然后重新进行在学习，最后使输出的信号误差达到允许的范围之内。

在现有的多种神经网络模型中，该文采用基于误差反向传播理论的前馈网络算法（简称BP法）进行乳腺癌的自动分类。

1 BP神经网络系统的设计

1）样本的选取

本文采用由威斯康星大学医院威廉博士提供的699组乳腺癌数据，每组数据包括乳腺癌患者的9个特征参数，它们分别是：肿块密度、细胞的大小的一致性、细胞形状的一致性、边缘附着力、单上皮细胞大小、裸核、布兰德染色质、正常核仁、有丝分裂。这些患者中良性患者458人（65.5%），恶性患者241人 （34.5%）。随机选取500组作为网络训练样本，另外199组作为测试样本。

2）隐层数的设计

设计隐层数前，应对网络的训练样本及样本映射问题进行确认。根据乳腺癌数据，评价乳腺癌的特征参数有9个，故网络输入层点数为9。输出点数确定应以乳腺癌良性和恶性归类为依据。故可确定输出节点数为2。

在对多层前馈网络结构进行设计时，主要应考虑两大问题：一是，需要设计几个网络隐层；二是，针对所设置网络隐层，分别应设置几个隐节点，方可实现最佳。从理论角度进行分析，可以得知采用单隐层前馈神经网络能够映射所有连续函数，因此多采用单隐层前馈神经网络。而需要两个或两个以上的隐层的情况，一般是学习不连续函数[3]。在本项研究中，采用的是单隐层结构的神经网络。

3）隐节点数的设计

隐节点的设计主要用以提取和记忆学习样本数据的的内在规律。隐节点的数量一般是不确定的。每一个隐节点均有若干权值。而每一个权值均可以怎强网络映射能力。隐节点数确定对构造网络结构十分关键。隐节点数过多易出现出现过度吻合，减弱神经网络泛化能力，增加网络的训练时间等问题。例如网络对如噪音等非规律内容的记忆。隐节点过少易出现不能有效的概括和体现样本数据，获取信息能力相对较差。

在确定隐层节点个数时，主要应考虑三大决定因素，一是，样本噪声的大小；二是，提供给训练网络的样本数目；三是，样本数据中蕴含规律的复杂程度。在对最佳隐层节点个数进行确定时，我们较为常用的方法是试凑法。即，在样本集相同的前提下，由少到多的逐步增加，分别进行训练，以最终得出的训练结果来确定误差最小时的隐节点数。该文中我们采用了确定隐节点数的经验公式[m=n+l+a]进行估计，其中[m]表示隐层节点数，[n]表示输入层节点数，[l]为输出节点数。[α]为1～10之间的常数[3-4]。因此根据本文中输入节点数为9，输出节点数为2，我们选择隐层数分别为5、6、7、8、9、10、11、12、13的网络进行训练和测试。

2 神经网络设置

经过反复训练和测试，用于乳腺癌的自动分类的BP神经网络，选取的网络参数如表1所示。根据网络参数，该文采用的BP神经网络模型如图1所示。

表1 网络参数选取结果

[参数名称＼&参数值＼&参数名称＼&参数值＼&输入节点个数＼&9＼&最小均方误差＼&1e-2＼&输出节点个数＼&2＼&隐层节点个数＼&5-13＼&最小梯度＼&1e-20＼&隐层转移函数＼&Logsig＼&输出层转移函数＼&Purelin＼&最大训练步数＼&1000＼&]

3 仿真实验

为BP算法的可行性进行验证，本项研究引入Matlab神经网络工具箱作为变成工具，实现对乳腺癌的自动分类。

图2给出了神经网络训练过程，从图中可看出，经20步训练后，达到表1设定的允许误差范围。

（上方线为训练误差曲线，下方线为目标误差）

4 实验测试效果及评价

改变隐层节点数，对训练好的网络进行样本测试，测试结果如表2所示。199组测试数据中，识别正确率均在98%以上，识别效果较好。经过反复训练，隐层节点数设置为12时，分类效果最佳。同时也说明BP神经网络模型适合于乳腺癌的分类。

5 结束语

本文设计了不同BP神经网络模型参数对乳腺癌进行自动分类实验，通过调节不同隐层节点数，得到最佳网络参数设置，识别率较高。该方法可以针对乳腺癌的诊断，为医生提供辅助判别参考，能有效提高医生的工作效率。

参考文献：

[1] 章永来，史海波，尚文利，等.面向乳腺癌辅助诊断的改进支持矢量机方法[J].计算机应用研究，2013，8（30）：2374-2376.

[2] 姜力，刘宏，蔡鹤皋，等.基于神经网络的多维力传感器静态解偶的研究[J].中国机械工程，2002，13（24）：2100-2102.

第4篇：神经网络文本分类范文

关键词：边坡；自组织映射神经网络；BP神经网络；权值

中图分类号：TU753.8

文献标识码：B

文章编号：1008-0422(2008)05-0157-03

1引言

自从上世纪80年代以来，神经网络技术已经得到了长足的发展。运用强大的神经网络功能，可以对许多难以解决的问题求解。BP网络现在已经广泛应用于工程的各方面[1]，但是由于其自身的缺点，也存在很多问题。对于边坡工程，由于测量手段、仪器、人的主观性等原因，得出的数据不可避免的具有干扰性[2]，即用于训练神经网络的学习数据存在很大的噪声，影响网络的推广及泛化能力[3]。

为了解决工程数据样本在进行网络计算时噪声较大的问题，本文阐述了一种新的方法，即：首先将边坡样本的数据归一化到[-1，1]区间，实现对样本的“奖优罚劣”；然后利用自组织映射(SOM)神经网络对各学习样本数据进行分类，优化BP网络的初始状态，从而有利于适度控制BP网络求解的误差范围。

2SOM网络过程的推导

自组织竞争的主要目的是将任意维数的输入信号模式转变为一维或二维的离散映射，并且以拓扑有序的方式自适应实现这个转变[4]。本文采用Kohonen模型推导适合用于工程样本分类的自组织竞争神经网络结构。

2.1 竞争过程

令m表示输入数据的维数。从输入空间中随机选择输入模式记为

(1)

网络中每个神经元的突触权值向量和输入空间的维数相同。神经元j的突触权值向量记为

(2)

其中是网络中神经元的总数。这里假定所有的神经元有相同的阈值；阈值是偏置取负。在通过选择具有最大内积WjTX的神经元，确定兴奋神经元的拓扑邻域中心的位置。

因为基于内积WjTX最大化的最优化匹配准则在数学上等价于向量X和Wj的Euclid距离的最小化。用标号i(x)表示最优匹配输入向量x的神经元，可以通过下列条件确定i(x)：

(3)

2.2 合作过程

设hj,i表示以获胜神经元i为中心的拓扑邻域，设di,j表示在获胜神经元i和兴奋神经元j的侧向距离。它们必须满足的条件为：

1) 当di,j=0时，hj,i达到最大值；

2) hj,i随di,j绝对值的增加而单调递减；

3) di,j∞，hj,i= 0。

本文选取高斯函数满足以上条件，即：

由于对工程样本的划分采用一维模式即可，这里假定di,j是整数，而且有：di,j = | j - i |。

som算法中hj,i的宽度σ是随时间的推移而收缩的，这里设定一个指数函数来描述这一衰减过程：

其中σ0是σ的初值，τ1是时间常数。将式(4)代入式(5)中可得：

2.3 自适应过程

由Kohonen模型可知网络中神经元j的权值向量表示为：

式中：η是算法的学习率；g(yj)是响应yj的正的标量函数；wj是神经元j的突触权值向量。

这里将g(yj)设定成一个线性函数以简化计算：

将式(7)和式(8)代入式(9)可得：

由此可得更新权值向量wj(n+1)为：

为了得到更好的网络性能，可以将学习率函数η(n)设定成时变形式，这也是它用于随机逼近的要求。η(n)和hj,i一样，从初始值开始，然后随时间n增加而逐渐递减。因此将它设定为一个指数函数：

其中τ2是另外一个时间参数。

3自适应过程的排序和收敛

根据式(11)，可以把网络权值的自适应分解为排序和收敛两个阶段。要求对上述公式中的参数进行合适的设定。

3.1排序阶段

3.1.1学习率函数η(n)初始值η0=0.1；然后递减，但应该大于0.01;并设定时间常数τ2=1000。

3.1.2邻域函数hj,i (n)的初始化应包括以获胜神经元i为中心的所有神经元，然后随时间慢慢收缩。这里通过设定时间常数τ1=1000/logσ0来实现。

3.2收敛阶段

3.2.1当学习率η0.01。

3.2.2邻域函数hj,i (x)应该仅包括获胜神经元的最近邻域，并最终减小到一个或零个邻域神经元。

4无量纲化方法的选用

边坡稳定性受到多种因素的影响，在分析各影响因素时，由于各分指标具有不同的量纲，且类型不同，故指标间具有不可共度性，难以进行直接比较，因此在综合评价前必须把这些分指标按某种效用函数归一化到某一无量纲区间[5]。显然，构造不同的效用函数将直接影响最终的评价结果，因此效用函数的构造十分重要。

设P={P1,P2,・・・,PM}是评估对象集，Z={Z1,Z2,・・・,ZM}是综合评价指标体系中的n个分指标，评价指标矩阵X如下：

式中，Xij代表第i个评估对象的第j个分指标值。记第j个分指标Zj的平均值 ，

则将原始指标值按以下公式(3.7)转换到[-1,1]区间上的效用函数值Xij。

5实例及算法检验

将资料收集到的57个边坡样本[6~8]作为学习样本，数据从略，并将原始数据归一化到[-1，1]区间之后的边坡样本作为SOM网络的输入向量。

现在取目标边坡如表1所示：

将待求边坡样本归一化后与其它边坡样本一起输入到已经训练好的SOM网络进行分类，可以得到与这两组边坡样本相近的样本集合。

网络学习1000次后分类结果如图1所示,其中箭头所指的两个样本即为目标边坡在分类结果中所处的位置，它们的网络分类数值为57、81。对于56号样本，可以取分类数值为39~76之间的17个样本作为其学习样本；57号样本可以取分类数值为62~100之间的18个样本作为其学习样本。它们的学习样本集合见表2。

为了验证SOM网络对边坡样本的归类确实能够提高网络的性能，本文利用BP网络设计了两个试验：

试验(1)：用SOM网络归类后的学习样本分别对两组目标边坡进行求解，然后观察其网络性能；

试验(2)：用已得的全部55组边坡样本中的前20组样本作为BP网络的学习样本，对两组目标边坡求解，然后观察其网络性能。

因为此处仅用来验证SOM网络的归类结果，所以两组试验所用的BP网络模型用同一初始设置。初始网络权值为(-1,1)之间的随机值、学习速率0.1、隐含层个数为1，隐含层单元数12。

在试验1中，网络在对样本学习了4000次左右的时候，达到了收敛。网络性能可以在图2、图3、图4、图5中看到。

试验2，将55组边坡样本的前20组样本作为网络的学习样本。网络结果分析及误差分布如图6、图7所示：

从以上两个试验的结果可以看到，试验1的网络结果明显要好于试验2；试验1中两个网络的误差也均较试验2中的网络误差要小。这就证明经过SOM网络分类得到的目标样本确实能够提高网络的泛化、推广能力，而且分类之后BP网络的学习次数也较不分类时要少。

6结论

实际工程中，由于测量手段、仪器、人的主观性等原因，得出的数据不可避免的具有干扰性，造成以往的边坡样本数据对网络的学习形成很大的噪声。

6.1本文推导的自组织映射神经网络过程，可以自动对外界未知环境进行学习和仿真，适用于对边坡样本进行归类。

6.2本文所述的方法可以剔除一些隐含的网络干扰太大的样本，通过对学习样本的选择提高BP神经网络的计算精度。

6.3通过对55个边坡样本进行分析计算，相对于将不分类样本作为学习样本的同一BP神经网络，本文所述的方法能得到精度更高的近似解。

6.4由于神经网络方法的局限性，本文所述的方法不能反映边坡样本之间的实际区分界线，且计算中各参数的物理意义不明确。

参考文献：

[1] 周维垣等.岩石高边坡的稳定与治理.岩土工程的回顾与瞻[M].北京人民交通出版社，2001：15~24.

[2] 杨建刚.人工神经网络实用教程[M].杭州:浙江大学出版社.2001：41~58.

[3] 何翔，刘迎曦.岩土边坡稳定性预报的人工神经网络方法[J].岩土力学,2003.10:32~34.

[4] 罗四维.大规模人工神经网络理论基础[M].北京:清华大学出版社，北方交通大学出版社.2004.57~70.

[5] 李炳军，朱春阳，周杰.原始数据无量纲化处理对灰色关联序的影响[J].河南农业大学学报.2002.36(2):199~202.

[6] 吴建生，金龙.遗传算法BP神经网络的预报研究和应用[J].数学的实践与认识,2005.1(1):12~15.

[7] 熊海丰.基于神经网络技术的边坡稳定性评价[D].武汉理工大学,2003.

第5篇：神经网络文本分类范文

[关键词] BP神经网络 图像分类 Matlab 自适应特征因子 收敛速度 精度

中图分类号：P23 文献标识码：A 文章编号：1009-914X（2014）07-0321-03

1.引言

卫星遥感对地观测技术是人类获取资源环境动态信息的重要手段，无论是专业信息提取、动态变化预测、还是专题地图制作和遥感数据库的建立等都离不开分类。在数学方法的引入和模型研究的进展为影像的分类注入了新的活力，不同的数学方法和参数特征因子被引用到模型的研究上来，为模型研究的发展提供了广阔的天地。而基于改进的BP神经网络，更是融合了自适应特征因子和非线性函数逼近的网络模型，不仅学习速度快，而且有高度复杂的映射能力。

2.人工神经网络的分类方法

人工神经网络（Artificial Neural Network， ANN ）是基于生物神经系统的分布存储、并行处理及自适应学习这些现象构造出具有一些低级智慧的人工神经系统【1】。其概念是在20世纪40年代中期由McCulloch和Pitts提出的，70年代得到应用，80年代以来，随着计算机技术的发展而得到了快速的发展，属于非线性学科，具有强抗干扰性、高容错性、并行分布式处理、自组织学习和分类精度高等特点。

近年来，神经网络被广泛应用于遥感图像分类中，不同学者分别提出或应用了Hopfield神经网络、BP网络、自组织映射网络、小波神经网络、细胞神经网络、模糊神经网络等对遥感图像进行分类【2】。这些神经神经网络在遥感图像自动分类上都有一定的应用，并取得较好的效果。本文基于此，对传统的BP算法进行了改进，提出了在Matlab软件提供的神经网络工具箱中，对BP神经网络的权值，学习率进行分析。重点是运用数学中自适应特征因子，加快了迭代过程中的收敛速度，而且使精度更高。

3.BP神经网络

BP神经网络是一种通用性较强的前馈网络，它主要采用模式正向传递、误差信号反向传播的BP算法，实现输入到输出的映射，并且是非线性的，具有结构简单、可操作性强等优点，目前已被广泛应用【3】。

3.1 BP算法原理

学习过程由信号的正向传播与反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望输出不符合时，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此信号作为修正各单元权值的依据。

3.2 BP学习率的优化算法分析

为了加快神经网络的学习速度，对学习率的改进是BP算法优化的重要部分。因为BP算法是不断通过调整网络权值进行训练学习的，修正的大小受到学习率的控制，因此学习率的改进对整个网络的优化是很重要的。为了加快学习速度，研究者提出了很多的优化学习率算法，刘幺和等提出的具体优化公式为[4]： η=Ae-λn. （1）

此算法优于学习率固定的传统BP算法，减少了网络学习过程中的学习次数，但同样存在着其它问题，首先，模型中A的取值范围并不适用于所有神经网络，由于它的取值决定了网络学习率的初始值，通过A确定的网络初始学习率可能使网络不收敛。其次，当网络误差下降速度快时，该算法反倒使网络收敛速度比较慢，这说明此时网络不适应这种情况。

在上述模型中，陈思依据可变学习率的变化，提出了另一改进模型，此方法的思想是，如果网络权值在实际情况中更新之后使误差值减小，此时就没有必要再减少学习率，如果保持原学习率不变，不仅增加了训练速度，而且修改权值的幅度会大些，训练效果会更好一些。改进后的模型为[5]：

此算法优点是如果误差下降速度明显增快，则说明此时的学习率比较合适训练，不需调整。

面对现代科技的飞速发展，国内外竞相发展以高空间、高光谱和高动态为标志的新型卫星遥感对地观测技术，提供了海量的信息源，加大了人们对空间的认知，对信息世界的分类利用，但是人们的优化算法远远跟不上丰富的信息源。对此，针对上面学习率算法，虽然有很大的改进，但处理速度还远远不够，还需要优化。

3.3 网络隐层的节点数确定

BP人工神经网络拓扑结构中，输入节点与输出节点是由问题的本身决定的，关键在于隐层的层数与隐节点的数目，在Robert Hecht Nielson等人研究指出，只有一个隐层的神经网络，只要隐节点足够多，就可以以任意精度逼近一个非线性函数【6】。

因此隐节点的确定关系到整个网络的处理，下面是关于隐节点数确定的的方法：

其中Hpi隐节点i在学习第p个样本时输出，Hpj是隐节点j在学习第p个样本时的输出，N为学习样本总数，而Hpi与Hpj的线性相关程度愈大，互相回归的离散度越小，反之，则相反。

当同层隐节点i和j的相关程度大，说明节点i和j功能重复，需要合并；当样本散发度Si过小，说明隐节点i的输出值变化很少，对网络的训练没起到什么作用，可以删除。因此根据这样规则可以进行节点动态的合并与删除。

4.特征因子算法加入

神经网络在遥感图像分类中的优势越来越明显，很多人对其进行了研究与应用。对此，本文对前人的算法进行了优化，主要是进行网络权值修正速度的加速，在算法优化中，引入了数学中的特征因子加速收敛方法，其保证精度下，使网络的迭代收敛速度大大加快。

具体算法思想过程如下：在BP神经网络学习阶段，当遥感图像的特征样本数据由输入层到隐含层，然后再传输到输出层，最后得到的输出数据与目标数据会产生误差，然后在返回到隐含层来调整网络权值，直至误差达到所要求的精度范围为止。在迭代过程中，为了使误差迅速减小到精度范围内，特征因子算法被引入到网络权值调整上：

在第一次迭代 ：

其中x0为输入向量，y1为第一次输出向量，T为目标向量，第一次迭代生成的T1为目标向量T的近似值，Tk+1为迭代N次（1，2，3，…）目标向量T的近似值。在运用特征因子迭代收敛加速方法中，比以往的算法得到优化，加速了网络权值调整的收敛速度，且使结果的精度得到保证。

5.实验过程与精度评定

本次实验是在Matlab环境下开发的神经网络工具箱中来进行展开的，神经网络工具箱是MATLAB环境下开发出来的许多工具箱之一。它以人工神经网络理论为基础，利用MATLAB编程语言构造出许多典型神经网络的框架和相关的函数【7】。此工具箱可以用来对BP神经网络训练函数的创建，下面是具体的实验过程：

（1）选取QuickBird卫星影像，在影像上选取各类别的特征样本，要求样本数量得足够多。然后进行特征选取，一般是选取象元的多光谱特征的特征向量，以此确定特征矩阵p。为了方便在训练阶段的学习，需把向量值归一化，在根据特征向量，确定输入层节点数为5。

（2）进行BP神经网络的构建，其中隐层网的节点数是根据前面提到的方法，节点数经过合并与删除之后最终确定为25；根据待分类影像的类别分别是公路用地、内陆滩涂、旱地、水工建筑用地、裸地、坑塘水面、林地、水库水面、采矿用地、城市、村庄、水浇地、设施农用地、建制镇、果园、灌木林地、风景名胜及特殊用地、其他林地、其他草地，输出层节点数确定19；目标向量可用以下形式表示：

（1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示公路用地

（0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示内陆滩涂

（0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示旱地

（0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示水工建筑用地

（0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示裸地

（0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0，0） 表示坑塘水面

（0，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0，0） 表示林地

（0，0，0，0，0，0，0，1，0，0，0，0，0，0，0，0，0，0，0） 表示水库水面

以此类推直到最后类别的表示……

（0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，0，1） 表示其他草地

调用Matlab神经网络工具箱中的函数，另外为了加入特征因子算法，需要创建网络的权值学习函数learnc，p1是输入训练样本，p2是输入未知样本向量。部分代码如下：

net=newff（minmax（p），[25，19]，{‘tansig’，‘logsig’}，‘traingdx’，‘learnc’）；

net.trainParam.show=300；

net.traimParam.epochs=1600；

net.train.goal=0.01；

net=init（net）；

net=train（net，p1，T）；

Ye=sim（net，p2）；

（3）在步奏（2）的基础上，进行训练学习。创建的网络权值函数加入特征因子后，在学习阶段收敛速度明显增快 。使调整后的网络权值尽快达到了用户设定精度范围。

（4）学习阶段完成后，开始进行分类阶段。把未分类的QuickBird卫星影像的特征向量值输入到神经网络中，进行分类，根据输出向量y与目标向量T进行对比，然后把象元分类到自己所属的类别区。直到影像被分类完为止。

（5）分类结果图如下：

（6） 下面是对分类结果进行精度评定，采用误差矩阵法来评定精度。总体精度可达到93.89%，其他各个类别的用户精度和生产者精度都很高，最低的不低于82.43%，满足用户的需求，达到使用的目的。

6.结束语

BP神经网络的非线性映射，自适应功能等优势已在遥感图像分类中得到广泛的应用，本文基于前人的优化算法，提出了在网络权值调整过程中的特征因子迭代加速算法，使学习阶段的权值调整速度明显加快。但在分类精度上改变较小，在提高精度上，是以后继续研究改进的方向。

参考文献

[1] 叶世伟 史忠植（译） 神经网络原理 北京：机械工业出版社，2004

[2] Dony R D，et al. Neural network approaches to image compression[J].Proc IEEE，1995，83：288-303.

[3] 史忠植.智能科学[M].北京：清华大学出版社，2006.

[4] 刘幺和，陈睿，彭伟，等.一种BP神经网络学习率的优化设计[J].湖北工业大学学报，2007，22（3）：1-3.

[5] 陈思 一种BP神经网络学习率的改进方法[J].长春师范学院学报（自然科学版），2010.8.25-27

[6] 李晓峰，徐玖平，王荫清等。BP人工神经网络自适应学习算法的建立及其应用[J].系统工程理论与实践，2004.5 . 3-4

[7] 楼顺天，等.《基于Matlab的系统分析与设计---神经网络》. 西安：西安电子科技大学出版社，2000.8.23-40

第6篇：神经网络文本分类范文

关键词：企业危机 智慧资本 判别分析 类神经网路

一、绪论

近年来，企业经营环境随着资讯全球化时代的来临而有了重大的转变，在面对这样瞬息万变的情况下，企业本身已无法再使用传统的经营模式来处理其所面对的问题。而基本上，企业经营通常会受到外部环境、本身经营不善或错误经营策略的影响，而造成财务危机的发生与倒闭现象。是面对这样动态变化的企业环境下，企业危机预警制度的建立，就变得相当重要与紧迫。

为了解决现存类神经网络方法的缺点并增加企业危机诊断成功的精确度，本研究尝试提出

整合判别分析与类神经网路的两阶段模式建构程序，来进行企业危机诊断分类模式的建立。主要的研究目的是希望先经由传统的判别分析方法进行分析，再将其辨别之结果当作类神经网路的额外输入信息，以提供类神经网络个良好的起始点，再透过类神经网络的学习、辨识能力，来发展个更为快速、精确的企业诊断模式。

二、研究方法

本研究的目的是整合判别分析法与倒传递类神经网络，针对企业危机诊断分析建构预警模型。研究的进行程序是先针对资料进行判别分析，筛选出重要指标并得到初步判别结果，再将此判别结果并入倒传递类神经网络的输入层，作为额外的变数信息，最后再利用倒传递类神经网络修正判别数值，以求得较佳的企业诊断结果。

1.判别分析

判别分析是种被广泛应用在各领域的传统统计方法，而判别分析的主要目的为：找出预测变数的线性组合，使其组间差异平方和相对于组内差异平方和（或总差异平方和）的比值为最大，而每个线性组合与先前已经获得的线性组合均不相关。其实施的程序在于先检定各组重心是否有差异再找出那些预测变数具有最大的区别能力，最后再根据新受测者预测变数的数值，将该受测者分派到其所应隶属的群体。

2.倒传递类神经网络

类神经网络的网络型态有许多不同的种类，其中倒传递类神经网络是目前应用最为广泛的模式之一。倒传递类神经网络隶属于监督式学习网络模式的种，其资料是以顺向的方式向前传递。

当建立网络模型时，对于相关参数的选择常有许多基本的原则需考量运用。例如在网络隐藏层方面，经验显示隐藏层在到二层时会有最好的效果，亦提出具有层隐藏层的神经网络模式就能达到解决问题时所需要的精确度。由于隐藏层的神经元数目会影响整个网络的学习能力，因此过多的神经元数目虽然可以达到较好的学习效果，但是在训练时却需要花费较多的时间，在使用上较不方便。

三、实证研究

1.研究设计

为实际探讨智慧资本指标对企业危机产生与否的影响，及验证论文中所提之整合判别分析与类神经网络两阶段建构模式方法的有效性，本研究以上市公司资料为实证研究的测试对象。原则上，我们将先使用判别分析进行企业危机的初步分类，并找出重要的影响指标：再将其诊断结果当作类神经网络的额外输入信息，以提供类神经网络个良好的起始原点，再透过类神经网络的学习与辨识能力，来发展个更为快速且精准的诊断模式。

2.买证结果

针对本研究样本资料，我们首先使用判别分析来进行诊断模式的建构，此外，为求建构模式的客观性及效度考量，本研究将70笔资料中的46笔作为模式建构之用，而剩下之24笔资料则保留为测试之用。

关于单纯使用类神经网络来建构企业诊断模式方面，在网络结构决定部分，通常一个适当且包含单隐藏层的类神经网络模式，可针对问题提供足够的精确度。因此，在本文所建构的类神经网络将只包含单隐藏层。在输入层神经元方面，我们将根据先前判别分析所求得的变数筛选结果，只单纯采用六个变数作为输入变数，而由于输入层中只有6个神经元，因此隐藏层中神经元的测试个数被设定为11、12、13、14与15五种组合；最后在网络的输出层部分则只包含1个神经元。

在整合判别分析与类神经网络模式的建构方面，由于整合模式必须加入判别分析的判别结果作为类神经网络输入层的额外信息，因此整合模式输八层将包含7个神经元进行测试：而隐藏层中神经元的数目则选择为13、14、15、16与17等五种组合：最后输出层部分则仍只包含1个神经元。

第7篇：神经网络文本分类范文

本文利用人工神经网络的钢材表面缺陷快速识别系统以及BP神经网络的缺陷检测和分类的方法，实现钢材表面疵病的准确检测与分类。选用Matlab作为系统软件工具，以BP神经网络作为其缺陷检测的计算方法，实现冷轧带钢表面缺陷检测技术的软件方案设计，完成BP神经网络在钢材表面缺陷检测的应用研究，满足带钢生产线的表面缺陷检测要求。

关键词：缺陷检测；人工神经网络；BP神经网络

中图分类号：TN711 文献标识码：A 文章编号：

冷轧带钢已成为汽车生产、机械制造、化工、航空航天、造船等工业不可缺少的原材料，在国民经济中占据重要地位。而钢材表面缺陷是影响带钢质量的重要因素，因此，表面缺陷的识别检测对提高带钢的质量具有十分重要的意义。

本文根据钢材表面的缺陷情况，研究需要系统识别的常见钢材表面缺陷类型，结合表面缺陷检测系统的主要技术要求，提出基于人工神经网络的钢材表面缺陷识别系统的总体方案。利用计算机和图像采集设备，使软件和硬件协同配合，实现图像信息的实时采集及处理，为BP神经网络的训练学习建立钢材表面缺陷数据库，通过训练可以实时自动识别钢材表面存在的缺陷。

1BP神经网络的基本原理

BP（Back Propagation）神经网络是一种神经网络学习算法，全称基于误差反向传播算法的人工神经网络。它是目前研究最多、应用最广泛的神经网络模型之一【1】。BP网络是一种多层前向反馈神经网络，把样本的输入输出变成一个非线性优化问题，使用了最优化中最普遍的梯度下降算法，用迭代运算求解权值，它可以实现从输入到输出的任意连续的非线性映射。BP网络主要用于函数逼近、模式识别、数据压缩等。BP神经网络由输入层、隐含层和输出层三部分组成，其结构如图1所示。

图1BP神经网络结构示意图

Fig. 1 The BP neural network structure diagram

BP神经网络在具体工作之前必须通过学习获得一定的“智能”，才可以在实际的应用中取得良好的效果。其学习由四个过程组成：

第一是输入向量由输入层经隐含层向输出层的“正向传播”过程；

第二是网络实际输出与网络的希望输出之间的误差信号由输出层经隐含层向输入层逐层修正连接权值的“误差反向传播”过程；

第三是由“正向传播”与“误差反向传播”的反复交替进行的网络“记忆训练”过程；

第四是网络的全局误差趋向极小值的“学习收敛”过程。

2BP算法在钢材表面缺陷识别的具体实现

为了使用BP神经网络实现钢材表面缺陷检测方法研究，首先需要对钢材图像进行预处理，去除图像噪声，并进行图像增强处理，保留图像重要信息；然后，从样本图像中选择部分有缺陷的图像，进行样本图像分割，分割成适合网络训练的特征图像，并将分割结果分类为正常图像和缺陷图像样本集合；再使用各种图像特征提取方法分别提取出正常图像和缺陷图像的特征值，构成BP神经网络训练集合；再将训练集合输入BP网络训练器中，按照设定参数，设置选定精度，进行网络权值训练，得到所需的分类器；最后将测试样本输入分类器中，实现最终的缺陷分类识别。

系统选用Matlab作为系统软件工具。Matlab中专门编制了大量有关BP网络的工具函数，为BP网络的应用研究提供了强有力的便利工具【2】。BP网络的设计过程如下：

（1）输入训练样本

缺陷的出现会破坏其所在区域灰度值的排布规律，基于此先从带缺陷图像的缺陷区域截取图像，再从无缺陷的图像中截取相同大小的图像，然后从这些图像中提取特征向量【3】。对特征向量X进行归一化，再进行主分量分析进行降维处理，最后把处理后的特征向量的每一列作为一个样本输入神经网络。

（2）初始化网络

采用initff函数初始化网络。在建立网络对象的同时，自动调用初始化函数，根据缺省的参数对网络的连接权值和阈值进行初始化。initff函数格式：

[w1,b1,w2,b2]=initff(p,s1,f1,s2,f2)（1）

式中：w1表示隐含层神经元与输入层神经元之间的连接权重系数矩阵；

w2表示输出层神经元与隐含层神经元之间的连接权重系数矩阵；

b1、b2表示隐含层和输出层神经元的阈值矩阵；

p表示输入样本矩阵；

s1、s2表示隐含层和输出层神经元个数；

f1、f2表示隐含层和输出层激活函数形式。

运行initff函数，系统能自动根据给定的p,s1,f1,s2,f2的值对w1,b1,w2,b2赋予一个初始值。

（3）训练网络

采用trainbp函数训练网络。用基本梯度下降法训练网络函数进行BP网络训练，获取最终的权值与阈值矩阵。trainbp函数格式：

[w1,b1,w2,b2,te,tr]=trainbp(w1,b1,f1,w2,b2,f2,p,t,tp)(2)

式中：t表示输出样本矩阵；

te为网络的实际训练步数；

tr为训练过程中的误差平方和；

tp为网络训练参数。

选择训练参数tp进行训练，tp=[df,me,err,lr]

式中：df是指定两次更新显示间的训练次数；

me是指定训练的最大次数；

err是误差平方和指标；

lr是指定学习速率，即权值和阈值更新的比例。

trainbp函数以w1，w2，b1，b2的初始值和给定的f1，f2，p，t，tp开始训练，使当输入n时，网络的输出为目标矢量t。当训练过程中误差平方和小于等于目标误差平方和或者训练步数到达给定的最大步数时，停止训练。此时的w1，w2，b1，b2的值就是已训练好的网络参数。

（4）网络仿真

采用simuff函数对网络进行仿真。在网络训练前后分别进行输入输出的仿真，以做比较，从而对网络进行修改评价。simuff函数格式：

a=simuff(p，w1，b1，f1，w2，b2，f2) (3)

式中：a表示训练好的BP网络的实际输出；

w1、w2、b1、b2 是训练好的网络参数；

p、f1、f2 与（1）式相同。

网络训练后，形成稳定的权值和阈值，使网络输入和网络输出形成了较好的映射，从而可以对其他输入样本进行输出参数的预测。

3实际应用情况

从现场采集冷轧带钢样本，并对这些样本中的缺陷进行标定。将测试样本图像输入神经网络检测缺陷区域，得到每类样本的缺陷区域。将所有原始训练样本、测试样本图像，按照前面的预处理方法进行预处理，然后按照同样的分割方式进行分割，提取出样本块的特征信息，构成一序列的向量，输入已经训练完成的分类器，进行缺陷识别，检测出样本的缺陷区域。

经工业现场实践表明，经过训练的BP神经网络分类器对表面缺陷的识别分类较好,基本上能够满足带钢表面缺陷的分类识别要求。但是，神经网络技术也存在训练过程缓慢、需要大量的训练数据、对其决策过程无法得到透彻理解、参数的设计无规律可循等缺点。

事实上，基于BP网络的分类器只能识别BP网络已知的模式类别。如果出现了新的模式类别，分类器就不能正确地识别，只能再次对分类器进行训练，也就是说分类器没有自学功能。因此，在优化BP神经网络参数的基础上，我们可以考虑将现在已经构建的BP神经网络模型的分类器，分解成两步来实现表面缺陷的分类，即首先构建神经网络来对把缺陷和非缺陷识别分类开来，然后再对缺陷进行分类，以期提高分类识别的准确率。我们还需要研究基于其它神经网络模型的分类器，利用各自的长处，实现分类器的融合，并使分类器具有自学的功能，对新出现的缺陷能够记忆识别的功能，更好的满足工业现场的要求。

参考文献

[1]王婷,江文辉,肖南峰.基于改进BP神经网络的数字识别.电子设计工程.2011,19(3):108-112.

第8篇：神经网络文本分类范文

引言

当前对人工神经网络ANN（Artificial Neutron Network）的研究热潮源自Hopfield J.[1]和McclellandJ.等人于20世纪80年表的论文[2],[3]。Hopfield提出了激活函数为非线性的反馈网络，并将其成功地运用于组合优化问题；Mcclelland和Rumelhart用多层前馈网的反向传播学习算法（Back Propagation）成功地解决了感知器不能解决的"异或"问题及其它的识别问题。他们的突破打消了此前人们由于简单线性神经网络感知功能的有限而产生的，使ANN成为了新的研究热点。之后，新的网络结构和新的学习算法层出不穷，目前常见的都已达到几十种。在这些神经网络中，径向基函数RBF（Radial Basic Fuction）网络由于具有强大的矢量分类功能和快速的计算能力，在非线性函数逼近等方面，特别是模式识别领域，获得了广泛的应用，从而成为当前神经网络研究中的一个热点[4]。

模式识别是人工智能经常遇到的问题之一。其主要的应用领域包括手写字符识别、自然语言理解、语音信号识别、生物测量以及图像识别等领域。这些领域的共同特点都是通过对对象进行特征矢量抽取，再按事先由学习样本建立的有代表性的识别字典，把特征矢量分别与字典中的标准矢量匹配，根据不同的距离来完成对象的分类。以识别手写数字为例，字典中有由学习样本建立的10个标准矢量（代表0～0），把从识别对象中抽取的特征矢量分别与这10个标准矢量匹配，矢量间距离最短的就说明别对象与这个标准矢量的分类最接近，进而识别出其表示的数字。

模式识别过程中，产生一个具有代表性的、稳定且有效的特征矢量分类匹配策略，是补偿变形、提高识别率的有效途径，如何确定分类器是识别系统成功的关键。可以说，模式识别的本质就是分类，就是把特片空间中一个特定的点（特征矢量）映射到一个适当的模式类别中。传统的模式识别分类都是基于串行处理的匹配策略：首先由学习样本建立识别基元（字、词、音、像素）的标准矢量识别字典，取取的特征矢量顺序与字典中的标准矢量计算区别得分；最后根据概率做出决策，输出识别结果。当模式类别很大时，识别速度会下降得很快，而近年来，用RBF网络解决这方面的问题得到了很好的效果。

理论模型要求发展神经网络型计算机来实现，但迄今 为止，这方面的工作限于条件还主要集中在传统计算机的软件模拟实现上。大多数学者认为，要使人工神经网络更快、更有效地解决更大规模的总是，关键在于其超大规模集成电路（V LSI）硬件的实现，即把神经元和连接制作在一块芯片上（多为CMOS）构成ANN。正是因为上述的原因，其中神经网络的VLSI设计方法近年来发展很快，硬件实现已成为ANN的一个重要分支[5],[6]。

以下介绍IBM的专利硬件RBF神经网络芯片技术ZISC(Zero Instruction Set Computer），并给出用ZISC设计和实现的一种模式识别系统。

1 用VLSI设计硬件神经网络的方法

神经网络的IC实现是比较困难的，设计者必须把神经系统模型的特性反映到受半导体工艺和IC设计规则制约的电路中去。用VLSI设计硬件神经网络的方法主要分为数字技术、模拟技术和数模混合技术等，下面分别作简要介绍。

（1）用模拟技术实现硬件神经网络

模拟神经芯片通过单元器件的物理性质来进行计算，因而可以获得很高的速度。神经元的核函数计算功能一般由乘法器或运算放大器来完成，而连接权值大多以电压形式存储在电容上或是以电荷形式存储在浮点门上。利用模拟神经芯片不仅可以制造多层前向感知器那样的传统结构，还能从形态上进行如硅视网膜这样的生物仿真设计，从而更有效地模拟生物学功能。

在解决实时感知类的问题中，模拟神经芯片扮演着主要的角色。因为这些问题不要求精确的数学计算，而主要是对大量的信息流进行集合和并行处理，这方面低精度的模拟技术从硅片面积、速度和功耗来看具有相当大的优势。但是模拟芯片的抗干扰性差，设计中需要考虑对环境因素变化引起的误差进行补偿，非常麻烦；它的另一个缺点是，制造一个突触必须考虑权值存储的复杂性，同时要求放大器在很宽的范围内呈现线性[5],[6]。

（2）用数字技术实现硬件神经网络

用高低电平来表示不同状态的数字电路是信息工业中最常用的技术。数字神经芯片有非常成熟的生产工艺，它的权值一般存储在RAM或EPROM等数字存储器中，由乘法器和加法器实现神经元并行计算。对设计者来说，数字神经芯片可以以很高的计算精度（达到32位或者更高）实现神经元核函数。另外，用数字技术实现神经网络时，通常可以采用标准单元库或可编程门阵列直接进行电路设计，这样可以大大减少设计时间[5],[6]。

数字神经芯片不仅具有容错性好、易于硬件实现及高精度、高速度的优点。更重要的是有很多数字电路CAD的软件可以作为设计工具使用。但要实现乘/加运算，需要大量的运算单元和存储单元。因而对芯睡面积和功耗要求很高。为了适应大面积的数字电路的要求，现在很多数字神经芯片都采用了硅片集成技术(Wafer-Scale Integration)。

（3）用数模混合技术实现硬件神经网络

出于上述种种考虑，许多研究人员提出并采用了各种数模混合神经芯片，具有数字及模拟工艺各息的优点而避免各自的缺点，运算速率高，芯片面积小，抗噪声能力强且易于设计。典型的数模混合信号处理部分则全是模拟的。这种结构很容易与其它的数字系统接口以完成模块化设计。近年来在各种数模混合神经芯片设计中，利用脉冲技术的数模混合神经芯片和利用光互连技术的光电混合神经网络芯片得到了广泛的关系，它们代表神经网络未来发展的方向。

尽管数模混合神经芯片有种种优点，但它也存在着一些不足。比如，对于大多数数模混合神经芯片来说，训练学习算法的实现往往需要一个附加的协处理器，这无疑会增加整个神经网络系统的成本和复杂性[5],[6]。

2 RBF网络原理和它的硬件实现

RBF网络是一种有导师的三层前馈网络。它最重要的特点是中间隐层神经元的基函数只对输入剩激起局部反应，即只有当输入落在输入空间的 一个局部区域时，基函数才产生一个重要的非零响应；而在其它情况下基函数输出很小（可近似为零）。网络结构如图1所示。

    图1(a)描述了隐层神经元的作用，其中X=(x1,x2,…，Xn)是输入层的输入矢量；C=(w1,w2,…，Wn)是该隐层神经元的中心矢量（每个隐层神经元的中心徉量存储在其与输入各种神经元之间的连接权中），σ代表宽度（半径）；而|| ||表示n维空间中矢量之间的距离（这里的距离不一定是数学意义上的欧几里得距离，在不同的情况下可以有种种含义）；f是隐层神经元的基函数，目前用得比较多的是高斯分布函数。

RBF网络每个输出层结点的输出为其与各隐层神经元输出y的加权求和。按高斯分布函数的定义，隐层神经元的输出y与输入矢量x的函数关系应服从正态分布，即当X与中心矢量C的距离很矢时，y接近最大值；反之y值减小。如X与C的距离超过宽度σ(即远离中心）时，输出y可近似为零，相当于对输出层没有贡献。这就实现了局部感知。

不难看出，RBF网络用作矢量分类器时，输入层神经元个数由矢量空间的维数决定，隐层神经元个数由模拟类别数决定，每个隐层神经元的中心矢量（与输入层各神经元之间的连接权）都代表一种模式类别。输入矢量与哪个隐层神经元的中心矢量距离近，哪个隐层神经元的基函数输出就大，相应的模式类别对输出层的贡献就大；与哪个隐层神经元的中心矢量距离远，哪个隐层神经元的基函数输出就小，甚至不激活，输出0，相应的模式类别当然就不会影响RBF网络的输出，矢量和模式类别的分类由此完成。

相对于网络结构的简单，RBF网络权值的训练方法要复杂一些。通常分为下面的两个步骤。

①隐层和输入层之间的权值采用无教师聚类方法训练，最常用的是KNN法（K-Nearest-Neighbor）。它的基本思想是先设定训练样本的一个子集；再用模式分类算法LBG由这个子集形成N种类的模式，即把子集中的样本归类；然后，按顺序处理子集外的训练样本：对任一样本X，找出K个与X距离最近的矢量（随便找，只要近就行），计算这K个矢量分别属于N个模式种类的数目，哪个模式种类包含的最近矢量最多，X就属于哪个模式种类。

将输入的训练样本聚类后，每个模式种类中所有样本矢量的平均值就代表该隐层神经元和输入层之间的权值（中心矢量）；而所有样本矢量与中心矢量的平方差的平均值就代表宽度σ。这样就做出了各个隐层神经元的全部参数。因为这种方法只要求输入训练样本就可以进行分类，无须知道训练样本的理想输出，因此被称为无教师方法。

②输出层和隐层之间的权值采用有教师聚类方法训练。简便实用的一种办法是：在确定隐层和输入层之间的权值之后，把训练样本矢量和其理想输出代入RBF网络，从而推出各个输出层神经元和隐层之间的权值。

    可以看出，需要分类的模式类别数的增加总可以通过不断增加三层RBF网络隐层神经元数来实现，含义十分直观。由于其学习过程为两步，且每一步的学习算法都十分有效，所以它的学习速度很快。RBF网络主要适用于解决已知的大规模分类问题，比如图像目标跟踪、面部和双眼的生物图像识别等。

对RBF网络的硬件实现技术，目前存在着不同的观点。但就有大规模分类和实时要求的模式识别问题而言，数字电路技术是最合适的选择，原因有以下几点：

①RBF网络用于手写字符识别、生物图像识别、自然语言理解这样的领域时，需要分类的模式类别数往往成千上万，所以要求隐层神经元数极大，单片神经芯片很难完成。使用数字神经芯片，网络的扩展十分容易，一般不需要逻辑器件而只要电阻就可以完成；而用数字神经芯片由于精度高，理论上可以无限并行扩展，且性能不下降。

②一个实用的模式识别系统，分类的模式往往会随着样本与环境的变化而变化，这就需要不断调整权值。数字神经芯片的权值存在数字存储器中，存储和恢复都很方便。这样用于模式识别系统的RBF网络的权值易变性得到了保证。

③模式识别系统对特征矢量提取对象的预处理是比较困难的工作。预处理效果不好时，RBF网络的输入往往含有噪声。数字神经芯片在抗干扰性方面与其它V LSI技术相比，显然具有无可比拟的优势。

④模式识别的要求包括模糊匹配和精确匹配两种。当用RBF网络实现精确匹配时，模拟技术完成不了这个要求，此时，数字神经芯片是避免错误输出的唯 一选择。

3 ZISC技术及其在模式识别中的应用

虽然人们已经在神经网络的硬件实现上做了大量的工作，并实现了许多不同的网络结构和算法；但是RBF网络的硬件实现工作却了了无几。这说明幅度当前的IC技术实现RBF网络的功能对设计水平的要求是比较高的，因此，本文介绍的这种商业芯片ZISC就成为了模式识别系统的一种有价值的神经网络硬件平台。

无指令计算机ZISC是世界著名的IBM实验室的一项创新性科研成果[7]，它采用数字电路技术实现了RBF神经网络及KNN学习算法的集成电路芯片。作为ZISC芯片的合作发明人与授权生产商，美国Silicon Rcognition公司专业从事ZISC技术推广，其生产的ZISC036是一颗含有36个隐层神经元，专门用于各种模式识别矢量分类的集成电路。以下列出了它的一些主要特点与功能：

*使用RBF网络模型，无须编程而只须给它训练样本，即能实现学习和自适应识别；

*全并行运算，模式分类速度与隐层神经元存储的矢量数量完全无关；

*无须逻辑电路即可实现多片ZISC036级连，模式分类数量及神经网络规模没有限制；

*输入和存储的矢量分量数目从1～64个可调（每个分量8位）；

*超快速度，64个分量的特征矢量的识别在4.8ms内完成（主频时钟20MHz）；

*用寄存器存储神经网络全局信息与神经元信息和权值；

*CMOS和TTL兼容的I/O，TQFP144封装，5V标准电源供电。

不难看出，应用这种神经网络芯片不需要操作系统和编程语言，主要的工作就是训练它和让它学习。因此，用它开发面向消费类的模式识别产品是一种简单且实用可行的方法，可以大大地缩短研发周期。

本文给出了用六片ZISC036级连，通过印制电路板实现的通用模式识别系统。图2为这个系统的总体框图。

系统通过PCI总线接受待识别的模式原始数据。数字存储在2个8MB高速DRAM区中。神经网络控制器选用Xilinx Virtex FPGA，它的主要功能是完成对原始数据的特征矢量提取并输入到ZISC036芯片阵列中。可以使用标准的FPGA开发工具生成不同的RBF文件，从而实现不同的特征矢量提取电路。ZISC036芯片阵列按照三描述的方法一个个顺序接受矢理输入，然后进行并行的学习和分类，识别结果作为输出返回。只要修改FPGA中的特征矢量提取电路和界面程序，就可以实现图像、话音等各种不同的模式识别程序，只要修改FPGA中的特征矢量提取电路和界面程序，就可以实现图像、话音等各种不同的模式识别功能。这个通用模式识别系统的性能以传统CPU或DSP的指标来衡量，相当于13.2GPS（每秒执行132亿条指令）。

用上述系统可以完成如图像目标跟踪、图像识别、数据挖掘等许多实时性要求很高的模式识别和分类功能。以下用一个自适应图像目标跟踪的实验作为例子，视频图片演示结果如图3所示。

图3的视频图片从一段AVI文件中捕获。首先从初始的视频帧中选定汽车的图像，提取其纹理特征作为训练样本输入到ZISC神经网络。然后，ZISC神经网络在后面接下来的视频帧中搜索类似的图像纹理模式并圈定跟踪目标的坐标。如果发现所跟踪目标的模式发生变化，ZISC神约网络能够自动学习新的特征并建立一个新的模式存入神经网络。通过不断地比较已存入神经网络的模式和所跟踪目标之间的区别，系统就能够识别目标，从而在拥挤的背景和变化的环境下始终锁定目标。实验用视频图片为320×240像素，跟踪目标扫描范围为20×20像素。

第9篇：神经网络文本分类范文

神经网络据有学习能力和联想化的功能和混沌行为的特点，被广泛的应用于计算机网络通信中。本文详细论述神经网络的原理，在此基础上以车牌计算机识别定位系统为例，对神经网络相关分类方法、工作流程等进行了计算机通信的应用解析，综合分析其在通讯系统中的应用。

【关键词】神经网络技术 计算机通讯 运用

由于神网络的独特性能，神经网络技术不但大量应用于故障分析、模式识别、自动控制领域，还在计算机网络通讯领域也被广泛的使用。正是因为神经网络具有学习映射、联想花功能、混沌行为的特点，所以它可以在目前的宽带网技术问题上提供理论上的解决办法。当前，计算机技术的车牌识别定位系统所需要识别的图像大部分都是室外摄像头拍摄到的，若是遇到强降雨或者大雾等恶劣天气，车牌上面的数字就很难采集到，神经系统可以有效解决这一问题，虽然神经系统应用于识别车牌是没有必要的，但是本文将基于这个简单的系统来介绍神经网络技术。

1 车牌计算机识别定位技术

车牌识别技术是我国智能交通系统的一个关键的组成部分，被广泛的应用于数字图像技术、生物识别技术和人工智能技术领域。车牌识别系统被广泛的用于公安刑侦部门的车辆违规行驶检测、失窃车辆检测、车辆违章停车，交通管理部门的实时路况检测、高速公路收费，物业管理部门的小区停车收费系统、进出入安全系统等。实际应用中采用的较多的车牌识别系统方法有特征检验法、模板匹配法和神经网络法。其中，大多数基于神经网络的车牌识别定位系统都是首先要采集足够数量的车牌图像样本作为带检测的图像，利用BP神经网络对图像进行识别，检测达到预定的正确率后即可停止；然后对需要识别定位的车牌图像用图像二值化、直方图等方法进行预处理，降低外界光线对车牌图像的影响，之后利用滤波器消除图像的噪声干扰，最后将完成预处理的车牌图像传送到神经网络搜索系统来对车牌进行定位。

2 神经网络技术介绍

2.1 神经网络的分类方法

常见的神经网络的分类方法有遵循网络连接拓扑结构的分类方法和遵循网络内部数据流向的分类方法。按照网络拓扑结构可以将神经网络分为层次型结构和互联型结构，其中层次型结构式指网络中层与层之间有神经元相互连接但同一层次的神经元之间没有连接；而互联型结构网络中的每个神经元之间都可以相互连接，互联型结构还可以细分为稀疏互联型、局部互联型和全部互联型。按照内部数据流向可以分为前馈性神经网络和反馈型神经网络，前馈性神经网络结构与层次型网络结构相似，数据流的方向统一从网络输入层传递到网络隐藏层，最后传递到网络输出层，传递过程中网络没有反馈回路，应用比较广泛的是BP神经网络和径向基神经网络。反馈型神经网络结构域单层互联网结构相似，反馈型神经网络中的每一个节点都可以进行数据处理和向外界输出数据，其代表是Hopfield神经网络。并且一般前反馈型神经网络的识别能力和分类能力都优于反馈型神经网络。

2.2 前反馈型神经网络

前反馈型神经网络的基本数据信号包括函数信号和误差信号两种，其中函数信号是要由网络输入端传递进入经过网络隐藏层神经元的处理，逐步传递到网络的输出层形成正向传播的输出层函数信号。误差信号是在网络实际输出的误差高于设定的预计误差时产生的信号，它的传递方向与函数信号相反，从网络输出层传递到网络隐藏层到网络的输入层，通过修改权值使误差达到最初的要求。

前反馈型神经网络包括学习和识别两个过程，学习是把准备好的信息样本输入到前馈神经网络中，通过网络隐藏层和输出层的处理得到实际的输出数值，将输出数值与预定的期望数值进行比较，确定误差数值在允许的范围之内后输入下一个样本；若是超出允许范围，就要进行反向传播并修改权值，再继续下个学习过程，重复上述过程。识别过程是把待识别的信息样本传递输入到前反馈型神经网络之中得到识别结果，由于神经网络具有良好的记忆能力和联想能力，识别与之前的学习样本相似待识别的信息样本，得到正确识别的几率很高，又由于神经网络具有良好的纠错性和容错性，就算待识别的样本与之前学习的样本不同，甚至是有较大的噪声和干扰，按照整体的特征对样本进行记忆，依然能够有效地对样本进行正确识别。

3 车牌识别定位系统

本文中介绍的车牌定位识别系统中包括车牌定位模块、字符分隔模块和字符识别模块。车牌定位模块包括车牌图像的灰度化、图像平滑化、图像增强和车牌定位；字符分割模块包括车牌图像为之校正、提出车牌上下便可、车牌字符分隔、车牌字符归一化处理；字符识别模块则包括神经网络训练和识别。神经网络具有很强的自适应能力、学习能力强、联想容错功能强、抗噪声干扰能力强的优点，使其在各个领域都被广泛的研究和应用。目前，大多数车牌识别定位技术都是基于BP算法的前馈性神经网络，并且具有很好的效果，但是其中还是存在一些问题，车牌定位识别技术还可以进一步发展。由于BP算法是基于梯度不断下降的，很容易在学习的过程中陷入到局部寻优中，从而无法得到全局的最优解，除此之外，BP算法的网络初始值的是根据经验而设置的，若是初始值的选择不合理，就会出现算法收敛速度下降甚至是不收敛的现象。若是在其中引入遗传算法，就可以弥补其中的不足之处，可以取得更好的效果。

4 总结

科学技术的不断发展，使人们的生活越来越方便，神经网络技术在通信中的运用，可以帮助解决之前无法解决的一些技术难题，除了在车牌定位识别系统中的应用之外，还应用于ATM网络通讯系统、辅助测量识别系统等系统中，它在各个领域应用的同时也存在着一些问题，需要专业人士不断地改进，为人类的生活提供更加便利的条件。

参考文献

[1]孙蓓蓓.神经网络技术在计算机通信中的应用[J].煤炭技术，2014，33（01）：202-204.