《基于信息理论学习的无监督神经网络研究》

摘要：自组织映射神经网络和神经气网络是两种典型的无监督学习前馈神经网络，它们具有较强的自组织和自学习能力。然而，实验结果表明，这两种网络仍存在一些不足之处，如当训练样本中存在噪声时，它们就会取得较差的性能。为了提高自组织映射神经网络和神经气网络的抗噪声能力，本文对基于信息理论学习的无监督神经网络开展了研究。本文主要提出了两种无监督神经网络的改进策略，主要工作如下：1.提出了基于相关熵的自组织映射神经网络。所提方法是利用相关熵代替基于欧氏距离的度量，使得改进后的网络模型具有更优的性能。此外，对于所提方法中的优化问题，利用半二次优化技术进行求解。实验结果验证了所提方法具有更优的性能。2.提出了改进鲁棒的神经气网络。在所提方法中，利用M估计器替代传统神经气网络目标函数中的输入向量与权重向量之间的欧式距离，并利用梯度下降法求解基于M估计器的优化问题。实验结果表明，所提方法具有更强的鲁棒性。想要下载论文的读者朋友，请先付费获得积分。