极限学习原理介绍，初步了解极限学习
一，ELM概要
极限学习机是一种针对单隐含层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)的新算法。相对于传统前馈神经网络训练速度慢，容易陷入局部极小值点，学习率的选择敏感等缺点，ELM算法随机产生输入层与隐含层的连接权值及隐含层神经元的阈值，且在训练过程中无需调整，只需要设置隐含层神经元的个数，便可以获得唯一的最优解。与之前的传统训练方法相比，ELM方法具有学习速度快，泛化性能好等优点。
二，ELM概述
传统的典型单隐含层前馈神经网络结构如下图一所示，由输入层，隐含层和输出层组成，输入层与隐含层，隐含层与输出层神经元间全连接。其中，输入层有n个神经元，对应n个输入变量；隐含层有l个神经元；输出层有m个神经元，对应m个输出变量。在不失一般性的情况下，设输入层与隐含层间的连接权值W为
三，ELM 的学习算法由以上分析可知，ELM 在训练之前可以随机产生 w 和 b ，只需确定隐含层神经元个数及隐含层神经元的激活函数（无限可微），即可计算出 .具体地，ELM的学习算法主要有以下几个步骤：(1) 确定隐含层神经元个数，随机设定输入层与隐含层的连接权值 w 和隐含层神经元的阈值b ；(2) 选择一个无限可微的函数作为隐含层神经元的激活函数，进而计算隐含层输出矩阵 H ；(3) 计算输出层权值 ' ^ ^ : H T . 值得一提的是，相关研究结果表明，在 ELM 中不仅许多非线性激活函数都可以使用（如 S 型函数，正弦函数和复合函数等），还可以使用不可微函数，甚至使用不连续的函数作为激活函数。四， ELM 当前研究现状ELM 以其学习速度快，泛化性能好等优点，引起了国内外许多专家和学者的研究和关注。ELM 不仅适用于回归，拟合问题，亦适用于分类，模式识别等领域，因此，其在各个领域均得到广泛的应用。同时，不少改进的方法和策略也被不断提及，ELM 的性能也得到了很大的提升，其应用范围亦愈来愈广，其重要性亦日益体现出来。
完整的pdf格式文档51黑下载地址：
极限学习机原理介绍.pdf
(143.63 KB, 下载次数: 21)
|
QQ好友和群
QQ空间
腾讯微博
腾讯朋友
收藏
淘帖
顶
踩
